近期北京赛车龙虎斗，AI Agent再度在圈内爆火。

皇冠hg86a

所谓AI Agent，其实等于LLM（大谈话模子）Agent，每次迭代时，它们齐会生成自我导向的指示和操作，不错贯穿成一个约略自动践诺任务的「机器东说念主」。

由于它不错合并到各式数据源，并通过API与环境进行交互，是以这个「机器东说念主」又存在着好多类型，每个类型齐有特殊的手段，比如搜索网页、与文档库交互，乃至通过自问自答的面目治理问题。

那么，种植这么一个AI Agent到底包含了哪些内容，不错提供什么样的才智？

6月底，OpenAI的Safety团队的谨慎东说念主Lilian Weng发布了一篇6000字的博客，详备先容了AI Agent，并以为，这将使LLM转为通用问题治理决议的路线之一。

本文将证实这篇博客纪念一下对于AI Agent的干系内容。

AI Agent简介

AI Agent组成部分

权谋（Planning）

皇冠客服飞机：@seo3687

记挂（Memory）

器用使用（Tool Use）

权谋（Planning）

任务领悟（Self-Reflection）

自我反省（Self-Reflection）

记挂（Memory）

记挂类型

最大内积搜索（MIPS）

器用使用（Tool Use）

所谓AI Agent，等于一个以LLM为中枢鸿沟器的一个代理系统。业界开源的名目如AutoGPT、GPT-Engineer和BabyAGI等，齐是近似的例子。

LLM的后劲不单是是生成写得很好的副本、故事、散文和表率；它不错被框架为一个顽强的一般问题治理者。

也等于说，AI Agent本色是一个鸿沟LLM来治理问题的代理系统。LLM的中枢才智是意图贯穿与文本生成，如果能让LLM学会使用器用，那么LLM本人的才智也将大大拓展。AI Agent系统等于这么一种治理决议。

以AutoGPT为例，一个经典的案例是对大模子输入一个问题：找出一个投资契机。通俗情况下，一个LLM是无法给出具体的操作的。

而AutoGPT的念念路，是领先告诉LLM，这个问题LLM一般不错咋治理这个问题，给出几个罗致，然后LLM会挑选一个递次，可能是浏览雅虎财经，也可能是阅读某个文献，然后AutoGPT本人就不错证实罗致的恶果络续践诺，这种践诺可能是用谷歌搜索，也可能径直拜谒某个文献，但这些齐是LLM无法作念到的。

AutoGPT完成这些任务之后络续带上之前的纪录发给LLM，络续商酌新的治理决议。这等于一个简单的AI Agent的案例。

所谓AI Agent，等于一个以LLM为中枢鸿沟器的一个代理系统。业界开源的名目如AutoGPT、GPT-Engineer和BabyAGI等，齐是近似的例子。

那么，为了完成上述才智，实验上一个AI Agent系统需要包含几个主要的部分。Lilian Weng以为一个AI Agent系统应当包含如下图所示的几个部分：

1、权谋（Planning）

子指标和领悟：代理将大型任务领悟为更小、易于经管的子指标，从而达成复杂任务的高效处理。

反念念和提真金不怕火：代理不错对往常的步履进行自我品评和自我反念念，从造作中吸取履历，并为明天的设施立异它们，从而提高最终恶果的质地。

2、记挂（Memory）

短期记挂：通盘的高下体裁习，齐是讹诈模子的短期记挂来学习。

（参见请示工程：https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/）

长期记挂：这为代理提供了在很长一段时刻内保留和调用（无尽）信息的才智，不时是通过讹诈外部矢量存储和快速检索。

3、器用使用（Tool Use）

代理学会调用外部API以获得模子权重中阑珊的非常信息（在预教练后不时难以鼎新），包括现时信息、代码践诺才智、对特有信息源的拜谒等。

底下，对每个部分进行详备的诠释。

复杂的任务不时波及许多设施。AI Agent需要知说念他们是什么，并提前运筹帷幄。

1、任务领悟（Self-Reflection）

任务领悟主如果的方针是将复杂的任务领悟成简单的小任务，这么LLM不错更简单地治理问题。

这里先容2类递次：

1）念念维链已成为增强复杂任务模子性能的表率请示技艺（Prompt Technology）。精真金不怕火等于让模子“一步一阵势念念考”，讹诈更多的测试时刻运筹帷幄将困难任务领悟为更小、更简单的设施。CoT将大型任务转动为多个可经管的任务，并对模子的念念维过程进行了阐释。

2）念念想树（姚等东说念主2023年）通过在每一步探索多种推理可能性来推广CoT。它领先将问题领悟为多个念念维设施，并每一步生成多个念念维，创建一个树结构。搜索过程不错是BFS（广度优先搜索）或DFS（深度优先搜索），每个状态齐由分类器（通过请示）或多数票评估。

2、自我反省（Self-Reflection）

自我反省是一个贫窭的方面，它允许AI Agent通过完善往常的行径决策和改革以前的造作来迭代地立异。它在现实天下中发扬着至关贫窭的作用，在现实天下中，试错是不成幸免的。

这里也包含几种递次：

1）ReAct（姚等东说念主2023年）通过将动作空间推广为特定于任务的龙套动作息兵话空间的组合，将推理和步履集成在LLM中。前者使LLM约略与环境交互（举例使用维基百科搜索API），此后者则请示LLM以当然谈话生成推理追踪。

外交部：“美香”“添添”和“小奇迹”年底按期回国

2）Reflexion(Shinn & Labash 2023)是一个为代理配备动态记挂和自我反念念才智以提高推理才智的框架。Reflexion 具有表率的强化学习（Reinforcement Learning，RL）建树，其中奖励模子提供简单的二进制奖励，而行径空间则沿用 ReAct 中的建树，即在特定任务的行径空间中加入谈话，以达成复杂的推理设施。每次行径后，AI Agent管帐算一个启发式的值，然后证实自我反念念的恶断然定重置环境以开动新的老练。

3）Chain of Hindsight（CoH；Liu 等东说念主，2023 年）通过向模子明确展示一系列往常的输出恶果，饱读吹模子立异我方的输出恶果。

记挂（Memory），是近似多轮对话中记取之前的输入和设定的一种才智。在现时的大模子架构中，跟着对话的增长，要记取之前用户的输入内容再输出需要耗尽多数的硬件资源。大多数模子支合手的高下文长度齐口舌常有限的。

超过这个长度之后，大多数模子的性能齐会极具下落或者是不支合手。可是长高下文是治理实验问题中必须要濒临的。如代码生成、故事续写、文本摘抄等场景，撑合手更长的输入不时意味着更好的恶果。

在这里，Lili Weng先是纪念了一下东说念主类的记挂分类纪念，然后对应到大模子上区别是什么样的。

1、记挂类型

记挂不错界说为用于获得、存储、保留和检索信息的过程。东说念主类大脑中有几种类型的记挂。

感官记挂（Sensory Memory）：这是记挂的最早阶段，约略在原始刺激斥逐后保留对感官信息（视觉、听觉等）的印象。感官记挂不时只可合手续几秒钟。其子类别包括图标记挂（视觉）、回声记挂（听觉）和触觉记挂（触觉）。

短时记挂（Short-Term Memory，STM）或责任记挂：它存储咱们现时富厚到的信息，以及践诺学习和推理等复杂融会任务所需的信息。

万古记挂（Long-Term Memory，LTM）：万古记挂不错将信息存储很万古刻，从几天到几十年不等，存储容量基本上是无尽的。万古记挂有两种亚型：

本文来自硬AI北京赛车龙虎斗，原文标题：《AI「明天指南」！OpenAI安全团队谨慎东说念主：AI Agent「详备教程」》