本文综述了AI智能体（AI agent）实现的最新进展，重点关注其在达成需要增强推理、规划和工具执行能力的复杂目标方面的表现。本工作的主要目标包括：a) 沟通现有AI智能体实现的当前能力和局限性；b) 分享从实际观察这些系统运行中获得的见解；c) 对未来AI智能体设计的重要考量提出建议。通过提供单一智能体和多智能体架构的概述，识别设计选择中的关键模式和分歧，并评估它们在完成给定目标方面的总体影响来实现这一目标。我们的贡献主要是概述了：在选择智能体架构时的关键主题、领导力对智能体系统的影响、智能体通信风格以及支持健壮AI智能体系统的规划、执行和反思的关键环节。

一、引言

自ChatGPT发布以来，首批生成式AI应用中的许多都采用了基于检索增强生成（RAG）模式的文档集合聊天变体。尽管在提升RAG系统稳健性方面已有大量工作开展，但各团队已开始构建下一代AI应用，它们围绕一个共同主题展开：即智能体（agents）。

从对最近基础模型如GPT-4的研究开始，并通过开源项目如AutoGPT和BabyAGI的推广，研究社区已经实验构建基于自主智能体的系统[19, 1]。

与零样本提示大型语言模型不同，在零样本提示中用户输入到一个开放式文本字段中并在没有额外输入的情况下得到结果，智能体允许更复杂的交互和协调。特别是，智能体系统具有规划、循环、反思和其他控制结构的概念，这些结构严重依赖于模型固有的推理能力以端到端完成任务。再加上使用工具、插件和函数调用的能力，智能体被授权进行更多通用的工作。

在社区中，目前有一个关于单智能体系统还是多智能体系统更适合解决复杂任务的辩论。虽然单智能体架构在问题定义明确且不需要来自其他智能体角色或用户的反馈时表现出色，但多智能体架构在需要协作和多个不同的执行路径时更倾向于蓬勃发展。

图1：单智能体和多智能体架构及其底层特性和能力的视觉化展示

1.1 分类

智能体。AI智能体是由语言模型驱动的实体，能够规划并在多轮迭代中采取行动以执行目标。AI智能体架构由单个智能体或多个智能体组成，共同解决问题。

通常，每个智能体都被赋予一个角色，并可以访问各种工具，这些工具将帮助它们独立或作为团队的一部分完成工作。一些智能体还包含一个记忆组件，它们可以在消息和提示之外保存和加载信息。在本文中，我们遵循包含“大脑、感知和行动”的智能体定义[31]。这些组件满足智能体理解、推理并对其周围环境采取行动的最低要求。

智能体角色。智能体角色描述了智能体应扮演的角色或个性，包括对该智能体特定的任何其他指令。角色还包含有关智能体可以访问的任何工具的描述。它们使智能体意识到自己的角色、工具的目的以及如何有效利用它们。研究人员发现，“形成的个性可以可验证地影响大型语言模型（LLM）在常见下游任务中的行为，例如编写社交媒体帖子”[21]。使用多个智能体角色解决问题的解决方案也显示出与被要求逐步分解其计划的思维链（CoT）提示相比有显著改进[28, 29]。

工具。在AI智能体的背景下，工具代表模型可以调用的任何功能。它们允许智能体与外部数据源交互，通过拉取或推送信息到该源。一个专业合同作家的智能体角色和相关工具的例子。作家被赋予一个解释其角色和必须完成的任务类型的人物角色。它还被赋予与添加文档注释、阅读现有文档或发送带有最终草稿的电子邮件相关的工具。

单智能体架构。此类架构由一个语言模型驱动，并将独立执行所有的推理、规划和工具执行。智能体被赋予一个系统提示和完成其任务所需的任何工具。在单智能体模式中没有来自其他AI智能体的反馈机制；然而，可能有人提供反馈以指导智能体的选项。

多智能体架构。此类架构涉及两个或更多的智能体，每个智能体可以使用相同的语言模型或一组不同的语言模型。智能体可以访问相同的工具或不同的工具。每个智能体通常都有自己的角色。

多智能体架构可以在任何复杂性级别上拥有各种组织。在本文中，我们将它们分为两个主要类别：垂直和水平。需要牢记的是，这些类别代表了频谱的两端，大多数现有的架构都位于这两个极端之间。

垂直架构。在此结构中，一个智能体充当领导者，其他智能体直接向其报告。根据架构的不同，报告智能体可能仅与领导者通信。或者，可以定义一个领导者，所有智能体之间共享对话。垂直架构的定义特征包括拥有一个领导者以及在协作智能体之间有明确的劳动分工。

水平架构。在此结构中，所有智能体都被视为平等的，并且是关于任务的一个组讨论的一部分。智能体之间的通信发生在一个共享的线程中，每个智能体都可以看到其他智能体的所有消息。智能体还可以自愿完成特定任务或调用工具，这意味着它们不需要由领导智能体分配。水平架构通常用于需要协作、反馈和组讨论以成功完成任务的任务[2]。

二、关键考虑因素

2.1 概览

智能体被设计为扩展语言模型的能力，以解决现实世界的挑战。成功的实施需要强大的问题解决能力，使智能体能够很好地处理新任务。为了有效地解决现实世界的问题，智能体需要推理和规划的能力，以及调用与外部环境交互的工具。在本节中，我们探讨了推理、规划和工具调用对智能体成功至关重要的原因。

2.2 推理和规划的重要性

推理是人类认知的基础，使人们能够做出决策、解决问题并理解我们周围的世界。如果AI智能体要有效地与复杂环境互动、自主做出决策，并在广泛的任务中协助人类，它们需要强大的推理能力。这种“行动”和“推理”之间的紧密协同作用，允许新任务快速学习，并使智能体即使在以前未见过的情况或信息不确定性下也能进行稳健的决策或推理。此外，智能体需要推理来根据新的反馈或学到的信息调整它们的计划。

如果智能体缺乏推理技能，当它们被赋予执行直接任务时，可能会误解查询，基于字面理解生成响应，或未能考虑多步骤的影响。

规划，这需要强大的推理能力，通常属于以下五种主要方法之一：任务分解、多计划选择、外部模块辅助规划、反思和改进以及记忆增强规划 [12]。这些方法允许模型将任务分解为子任务，从多个生成的选项中选择一个计划，利用预先存在的外部计划，根据新信息修订以前的计划，或利用外部信息改进计划。

大多数智能体模式都有专门的规划步骤，该步骤在执行任何行动之前调用一种或多种这些技术来创建计划。例如，像图一样计划（Plan Like a Graph，PLaG）是一种将计划表示为有向图的方法，多个步骤可以并行执行[15, 33]。在包含许多独立子任务且从异步执行中受益的任务上，这种方法可以提供比其他方法显著的性能提升。

2.3 有效工具调用的重要性

智能体抽象的一个关键优势是智能体能够通过调用多个工具来解决复杂问题。这些工具使智能体能够与外部数据源交互，发送或从现有API检索信息等。问题解决通常需要大量工具调用，这通常与需要复杂推理的问题密切相关。

单智能体和多智能体架构都可以通过使用推理和工具调用步骤来解决具有挑战性的任务。许多方法使用多次推理、记忆和反思来有效且准确地完成问题[16, 23, 32]。它们通常通过将一个更大的问题分解为更小的子问题，然后使用适当的工具依次解决每个问题。

其他专注于推进智能体模式的工作强调，尽管将更大的问题分解为更小的子问题可以有效解决问题，但单智能体模式通常难以完成所需的长序列[22, 6]。

多智能体模式可以解决并行任务和鲁棒性问题，因为各个智能体可以独立处理各个子问题。许多多智能体模式首先将一个复杂问题分解为几个更小的任务。然后，每个智能体独立工作，使用自己的独立工具集解决每个任务。

三、单智能体架构与实现

3.1 概览

在本节中，我们重点介绍一些值得注意的单智能体方法，如ReAct、RAISE、Reflexion、AutoGPT + P和LATS。这些方法在采取任何行动推进目标之前，都包含一个专门用于推理问题的阶段。我们根据它们对智能体的推理和工具调用能力的改进，选择了这些方法。

3.2 关键主题

我们发现，智能体成功执行目标取决于适当的规划和自我纠错[32, 16, 23, 1]。没有自我评估和制定有效计划的能力，单个智能体可能会陷入无休止的执行循环，永远无法完成给定任务或返回不符合用户期望的结果[32]。我们发现，当任务需要直接的功能调用且不需要来自另一个智能体的反馈时，单智能体架构特别有用[22]。

3.3 示例

ReAct

在ReAct（Reason + Act，推理 + 行动）方法中，智能体首先写下关于给定任务的一个想法。然后，它根据这个想法执行一个行动，并观察输出。这个循环可以重复，直到任务完成[32]。当应用于一组多样化的语言和决策任务时，ReAct方法在相同任务上的零样本提示相比，展示了提高的有效性。它还提供了改进的人类互操作性和可信度，因为模型的整个思维过程都被记录下来了。在HotpotQA数据集上评估时，ReAct方法仅产生了6%的幻觉，而使用思维链（CoT）方法则为14%[29, 32]。

然而，ReAct方法并非没有局限性。虽然将推理、观察和行动交织在一起提高了可信度，但模型可能会重复生成相同的想法和行动，并且未能创造新的想法来激发完成任务并退出ReAct循环。在任务执行期间纳入人类反馈可能会增加其有效性和在现实世界场景中的适用性。

RAISE

RAISE方法建立在ReAct方法之上，增加了一个模仿人类短期和长期记忆的记忆机制[16]。它通过使用草稿本进行短期存储，并使用类似先前示例的数据集进行长期存储来实现这一点。

通过添加这些组件，RAISE提高了智能体在较长对话中保持上下文的能力。该论文还强调了微调模型在他们的任务上实现了最佳性能，即使使用较小的模型也是如此。他们还表明，RAISE在效率和输出质量方面都优于ReAct。

尽管RAISE在某些方面显著改进了现有方法，但研究人员也强调了几个问题。首先，RAISE在理解复杂逻辑方面存在困难，限制了其在许多场景中的实用性。此外，RAISE智能体经常在其角色或知识方面产生幻觉。例如，一个没有明确定义角色的销售智能体可能保留了用Python编码的能力，这可能使它们开始编写Python代码，而不是专注于它们的销售任务。这些智能体也可能向用户提供误导性或错误的信息。这个问题通过微调模型得到了解决，但研究人员仍然强调幻觉是RAISE实现的一个局限性。

Reflexion

Reflexion是一个使用语言反馈进行自我反思的单智能体模式[23]。通过使用成功状态、当前轨迹和持久记忆等指标，该方法使用一个大型语言模型（LLM）评估器为智能体提供具体和相关的反馈。这导致成功率提高，与思维链（CoT）和ReAct相比，幻觉减少。

尽管这些进步，Reflexion的作者识别了该模式的各种局限性。首先，Reflexion容易陷入“非最优局部最小解”。它还使用滑动窗口进行长期记忆，而不是数据库。这意味着长期记忆的容量受到语言模型令牌限制的限制。最后，研究人员确定，虽然Reflexion超越了其他单智能体模式，但在需要大量多样性、探索和推理的任务上，仍然有机会提高性能。

Figure 2: An example of the ReAct method compared to other methods

Figure 3: A diagram showing the RAISE method

AUTOGPT + P

AutoGPT + P（Planning，规划）是一种解决智能体命令机器人使用自然语言时推理限制的方法[1]。AutoGPT+P结合了对象检测和对象可利用性映射（OAM）以及由LLM驱动的规划系统。这允许智能体探索环境中缺失的对象，提出替代方案，或请求用户协助实现其目标。

AutoGPT+P首先使用场景的图像来检测存在的对象。然后，语言模型使用这些对象选择使用的工具，从四个选项中选择：计划工具、部分计划工具、建议替代工具和探索工具。这些工具不仅允许机器人生成完成目标的完整计划，还允许探索环境、做出假设并创建部分计划。

然而，语言模型并不完全独立生成计划。相反，它生成目标和步骤，与使用规划领域定义语言（PDDL）执行计划的经典规划器一起工作。该论文发现，“LLM目前缺乏将自然语言指令直接翻译成执行机器人任务计划的能力，主要是由于它们受限的推理能力”[1]。通过将LLM规划能力与经典规划器相结合，他们的方法显著改进了其他纯基于语言模型的机器人规划方法。

像大多数首次出现的方法一样，AutoGPT+P并非没有其缺点。工具选择的准确性各不相同，某些工具被不恰当地调用或陷入循环。在需要探索的场景中，工具选择有时会导致不合逻辑的探索决策，如在错误的地方寻找对象。该框架在人类交互方面也受到限制，智能体无法寻求澄清，用户也无法在执行期间修改或终止计划。

Figure 4: A diagram of the AutoGPT+P method

LATS

语言智能体树搜索（LATS）是一种单智能体方法，它通过使用树来结合规划、行动和推理[36]。这种技术，受蒙特卡洛树搜索启发，将状态表示为节点，采取行动表示为在节点之间遍历。它使用基于LM的启发式搜索来寻找可能的选项，然后使用状态评估器选择行动。

与其他基于树的方法相比，LATS实现了一个自我反思推理步骤，显著提高了性能。当采取行动时，环境反馈以及来自语言模型的反馈被用来确定推理中是否有任何错误，并提出替代方案。这种自我反思的能力与强大的搜索算法相结合，使LATS在各种任务上的表现非常出色。

然而，由于算法的复杂性和涉及的反思步骤，LATS通常使用更多的计算资源，并且比其他单智能体方法完成需要更多的时间[36]。该论文还使用相对简单的问答基准测试，并且尚未在涉及工具调用或复杂推理的更健壮的场景中进行测试。

四、多智能体架构与协同机制

4.1 概览

在本节中，我们将考察几个涉及多智能体架构的关键研究及示例框架，如“具身化LLM智能体学会在有组织团队中合作”（Embodied LLM Agents Learn to Cooperate in Organized Teams）、DyLAN、AgentVerse和MetaGPT。我们将重点展示这些实现如何通过智能体间通信与协作计划执行来促进目标达成。这并非旨在囊括所有智能体框架的详尽列表，我们的目标是广泛涵盖与多智能体模式相关的关键主题和实例。

4.2 关键主题

多智能体架构创造了基于技能的智能分工和来自不同智能体角色有益反馈的机会。许多多智能体架构以分阶段的方式运作，在每个规划、执行和评估阶段动态创建和重组智能体团队[2, 9, 18]。这种重组能够产生更优结果，因为会为特定任务部署专门的智能体，并在不再需要时将其移除。通过将智能体角色和技能与手头任务相匹配，智能体团队能够实现更高的准确率并缩短达成目标所需时间。有效多智能体架构的关键特征包括智能体团队中明确的领导、动态团队构建以及团队成员之间有效的信息共享，以确保重要信息不会淹没在无关紧要的讨论中。

4.3 示例

具身LLM智能体学会在有组织的团队中合作

Guo Xudong等人开展的研究展示了领航智能体对整个智能体团队整体效能的影响[9]。该架构包含通过领航智能体形成的垂直组件，以及智能体与除领航者之外的其他智能体交谈的能力所形成的水平组件。他们研究的结果表明，拥有有组织领航者的智能体团队完成任务的速度比没有领航者的团队快近10%。

此外，他们还发现，在没有指定领航者的团队中，智能体大部分时间都在互相下达指令（约占沟通时间的50%），其余时间则用于分享信息或请求指导。相反，在有指定领航者的团队中，领航者约60%的沟通涉及给出方向，促使其他成员更专注于交换和请求信息。他们的结果表明，当领航者是人类时，智能体团队最有效。

Figure 5: Agent teams with a designated leader achieve superior performance

除了团队结构之外，该论文还强调了采用“批评-反思”步骤对于生成计划、评估性能、提供反馈和重新组织团队的重要性[9]。他们的研究结果表明，具有动态团队结构并采用轮换领导权的智能体提供了最佳结果，平均而言，它们既具有最短的完成任务时间，又具有最低的通信成本。最终，领导力和动态团队结构提高了整个团队进行推理、规划和有效执行任务的能力。

DyLAN

动态LLM-智能体网络（DyLAN）框架创建了一个专注于复杂任务（如推理和代码生成）的动态智能体结构[18]。DyLAN有一个特定的步骤，用于确定每个智能体在上一轮工作中的贡献了多少，并只将顶尖的贡献者移动到下一轮执行中。这种方法本质上是水平的，因为智能体可以相互共享信息，并且没有定义领导。DyLAN在衡量算术和一般推理能力的多种基准测试上展示了改进的性能。这突出了动态团队的影响，并证明了通过持续重新评估和排名智能体贡献，我们可以创建更适合完成给定任务的智能体团队。

AgentVerse

AgentVerse是一个多智能体架构，它展示了如何通过群体规划的不同阶段来提高AI智能体的推理和问题解决能力。AgentVerse包含了四个主要的任务执行阶段：招募、协作决策、独立行动执行以及评估。这个过程可以重复进行，直到实现整体目标为止。通过严格定义每个阶段，AgentVerse帮助引导一组智能体更有效地推理、讨论和执行任务。

例如，在招募阶段，根据朝向目标的进展，允许增加或移除智能体。这有助于确保在任何给定的问题解决阶段都有合适的智能体参与。研究人员发现，水平团队通常最适合进行咨询等协作任务，而垂直团队则更适合需要更明确责任分离以调用工具的任务。

Figure 6: A diagram of the AgentVerse method

MetaGPT

许多[多智能体]架构允许智能体在共同问题上进行对话和协作。这种对话能力可能导致智能体之间的闲聊，这与团队目标无关。MetaGPT通过要求智能体生成结构化输出（如文档和图表）而不是共享非结构化聊天消息来解决智能体之间的非生产性闲聊问题[11]。

此外，MetaGPT实施了一个“发布-订阅”机制来共享信息。这允许所有智能体在一个地方共享信息，但只阅读与其个人目标和任务相关的信息。这简化了整体目标执行并减少了智能体之间的对话噪音。与单智能体架构相比，在HumanEval和MBPP基准测试中，MetaGPT的多智能体架构展示了显著更好的结果。

五、LLM智能体研究的局限性和未来研究方向

5.1 概览

在本节中，我们探讨当今智能体研究的某些局限性，并确定可能改进AI智能体系统的潜在领域。尽管智能体架构在许多方面显著增强了语言模型的能力，但在评估、整体可靠性和每个智能体所依赖的语言模型遗传的问题方面仍存在一些主要挑战。

5.2 评估智能体的挑战

虽然大型语言模型（LLMs）在一系列标准基准测试上进行评估，以衡量它们的一般理解和推理能力，但智能体评估的基准测试却大相径庭。

许多研究团队在推出智能体实现的同时，也引入了他们自己独特的智能体基准测试，这使得在同一基准上比较多个智能体实现变得具有挑战性。此外，许多这些新的特定于智能体的基准测试包含一个手工制作的、高度复杂的评估集，其结果由人工评分[2]。这可以提供对方法能力的高质量评估，但它也缺乏更大数据集的健壮性，并且存在引入评估偏差的风险，因为开发方法的人也是编写和评分结果的人。智能体在多次迭代中生成一致答案也可能出现问题，这是由于模型、环境或问题状态的变化。这种增加的随机性对于更小、更复杂的评估集来说是一个更大的问题。

5.3 数据污染和静态基准的影响

一些研究人员在典型的LLM基准测试上评估他们的智能体实现。新兴的研究表明，模型的训练数据中存在大量的数据污染，这一观察结果得到了模型性能在基准问题被修改后显著下降的支持[8, 38, 37]。这引发了人们对语言模型和语言模型驱动的智能体基准分数真实性的怀疑。

此外，研究人员发现，“随着LLMs的快速发展，现有数据集通常无法匹配模型的不断演化的能力，因为现有基准的复杂度水平通常是静态的和固定的”[37]。为了解决这个问题，已经进行了创建对简单记忆具有抵抗力的动态基准的工作[38, 37]。研究人员还探索了基于用户特定环境或用例生成完全合成基准的想法[14, 27]。虽然这些技术可以帮助解决污染问题，但减少人类参与的程度可能会在正确性和解决问题的能力方面带来额外的风险。

5.4 基准范围和可转移性

许多语言模型基准测试被设计为单次迭代内解决，无需工具调用，例如MMLU或GSM8K [3, 10]。虽然这些对于衡量基础语言模型的能力很重要，但它们并不是衡量智能体能力的良好评价，因为它们没有考虑到智能体系统在多个步骤上进行推理或访问外部信息的能力。StrategyQA通过评估模型在多个步骤上的推理能力来改进这一点，但答案仅限于是/否响应 [7]。随着行业继续转向以智能体为中心的用例，将需要额外的措施来更好地评估智能体在涉及超出其训练数据的工具的任务中的性能和泛化能力。

一些特定于智能体的基准测试，如AgentBench，在不同的环境（如网页浏览、命令行界面和视频游戏）中评估基于语言模型的智能体 [17]。这为智能体在新环境中泛化的能力提供了更好的指示，通过推理、规划和调用工具来完成给定的任务。AgentBench和SmartPlay等基准测试引入了旨在评估实现成功率、输出与人类响应的相似性和整体效率的目标评估指标 [17, 30]。虽然这些客观指标对于理解实现的总体可靠性和准确性很重要，但考虑更细致或主观的性能衡量标准也同样重要。工具使用的效率、计划的可靠性和鲁棒性几乎与成功率一样重要，但测量起来要困难得多。许多这些指标需要由人类专家进行评估，与LLM作为法官的评估相比，这可能既费时又成本高昂。

5.5 现实世界适用性

许多现有基准测试专注于智能体系统在逻辑谜题或视频游戏中的推理能力 [17]。虽然评估在这些类型任务上的性能可以帮助了解智能体系统的推理能力，但尚不清楚这些基准测试的性能是否转化为现实世界的性能。特别是，现实世界的数据可能具有噪声，并且涵盖了许多常见基准测试所缺乏的更广泛的主题范围。

一个使用现实世界数据的流行基准测试是WildBench，它来源于WildChat数据集，该数据集包含了570,000个与ChatGPT的实时对话 [35]。因此，它覆盖了大量的任务和提示。虽然WildBench涵盖了广泛的主题，但大多数其他现实世界基准测试专注于特定的任务。例如，SWE-bench是一个使用GitHub上提出的现实世界问题集的基准测试，用于Python的软件工程任务 [13]。这对于评估旨在编写Python代码的智能体非常有帮助，并且可以了解智能体在代码相关问题上的推理能力；然而，当试图理解智能体在其他编程语言方面的能力时，它提供的信息较少。

5.6 智能体系统中的偏见和公平性

语言模型在评估以及社会或公平方面都已知存在偏见 [5]。此外，特别是智能体已被证明“不如LLMs健壮，更容易表现出有害行为，并且能够生成比LLMs更隐蔽的内容，突出了重大的安全问题” [25]。其他研究发现“LLM智能体倾向于符合模型固有的社会偏见，尽管被指导从某些政治角度进行辩论” [24]。这种倾向可能导致任何基于智能体的实现中出现错误的推理。

随着任务复杂性和智能体参与度的增加，需要更多的研究来识别和解决这些系统中的偏见。这对研究人员提出了一个非常大的挑战，因为可扩展和创新的基准测试在创建过程中通常涉及一定程度的LLM参与。然而，一个真正健壮的用于评估基于LLM的智能体偏见的基准测试必须包括人类评估。

六、结论与展望

AI智能体实现的探索表明，语言模型驱动的推理、规划和工具调用能力正在迅速提高。单智能体和多智能体模式都显示出解决需要高级问题解决技能的复杂多步骤问题的能力。本文讨论的关键见解表明，最佳智能体架构根据用例而变化。无论选择哪种架构，表现最佳的智能体系统倾向于至少采用以下方法之一：明确定义的系统提示、清晰的领导力和任务分工、专门的推理/规划-执行-评估阶段、动态团队结构、人类或智能体反馈，以及智能消息过滤。利用这些技术的架构在各种基准测试和问题类型中更有效。

虽然目前AI驱动的智能体的状态很有希望，但存在显著的局限性和未来改进的空间。为了实现可靠的智能体，需要在近期内解决全面智能体基准测试、现实世界的适用性以及有害语言模型偏见的缓解等挑战。通过检查从静态语言模型到更动态、自主智能体的进展，本调查旨在提供对当前AI智能体全貌的整体理解，并为那些使用现有智能体架构构建系统或开发自定义智能体架构的人提供洞见。

END