【大模型系列】AutoAgents: A Framework for Automatic Agent Generation论文阅读

这篇具有很好参考价值的文章主要介绍了【大模型系列】AutoAgents: A Framework for Automatic Agent Generation论文阅读。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

AutoAgents: A Framework for Automatic Agent Generation

基本信息

作者单位:北京大学 香港科技大学 北京人工智能研究院 滑铁卢大学

期刊:arXiv

一句话介绍:自适应地生成和协调多个专业代理,根据不同的任务构建 AI 团队

论文:https://arxiv.org/abs/2309.17288

代码:https://github.com/Link-AGI/AutoAgents

研究动机

  1. 大多数现有的基于llm的多代理方法依赖于预定义的代理来处理简单的任务,这限制了多代理协作对不同场景的适应性。此外,手动创建大量的专家往往会消耗大量的资源。
  2. LLM在处理各种需要密集知识和推理的任务时仍然面临困难,相比之下,人类经常利用协作解决问题的好处,这使他们能够有效地合作解决不同领域的非常规问题,并通过在专业之间分配工作量和应用多样性的观点和专业知识来提高解决方案的质量和可靠性

研究问题

AutoAgents的过程分为两个关键阶段:起草阶段和执行阶段。起草阶段涉及三个预定义代理(Planner、Agent Observer和Plan Observer)之间的协作讨论,以合成适合输入问题或任务的定制代理团队和执行计划。执行阶段通过代理间的协作和反馈来细化计划,并产生最终结果。

方法

  1. Planner P :根据任务内容生成并细化代理团队和执行计划
  2. Agent Observer Oagent:为Agent团队成员的合理性以及与任务的匹配程度提供建议。
  1. Agent Observer首先验证每个Agent是否符合规范,并识别任何缺失的元素
  2. 其次,Agent Observer根据每个Agent的描述信息和任务内容来评估它们与任务的兼容性。
  3. 最后,Agent Observer检查代理列表中是否存在冗余或缺失的角色,并相应地删除或添加它们。
  1. Plan Observer Oplan :对执行计划的合理性以及与任务和代理团队的匹配程度提供建议。

Agent Generation:为了使Planner能够产生理性的代理,我们为单个代理的基本元素设计了一个标准格式。对于每个agent A={P,D,T,S}  prompt P description D,toolset T and suggestions S

  1. prompt为每个特定代理提供了详细和定制的专家身份描述,其中包括profile(角色或职位的领域专长),goal(该角色旨在实现的主要职责或目标) 和constraints(角色在执行操作时必须遵循的限制或原则)
  2. Description:给出了额外的具体身份,以帮助建立更全面的角色、制定执行计划和检查问题。
  3. Toolset:从预定义的工具集中选择部分,防止工具过多导致决策混乱。
  4. Suggestion:为每个agent执行当前任务提供一些建议,包括但不限于明确的输出、历史信息的提取、执行步骤的建议。

Plan Generation:在生成代理的同时,Planner制定执行计划,并通过与Plan Observer的相互沟通推动逐步改进。对于给定的任务,Planner在执行计划p中描述完成该任务的具体步骤{S1,S2,...Sn},每个步骤Si都需要明确标识负责搞任务的agent AJ,以及该任务所需的输入信息和预期输出。Plan Observer随后根据代理列表{A1,A2,...An}和任务内容验证计划P={S1,S2...Sn}。

  1. 首先保证每个步骤都有对应的代理,保证步骤内容连贯,简洁
  2. 其次,评估所有步骤是否足够,是否可以完成任务,以及是否存在需要填补的空白。
  3. 最后,它向Planner提供反馈,后者据此进一步完善执行计划。

Task Execution Actions:执行计划包括任务执行的两个动作:单个代理的自改进和多个代理的协作改进

具体实现

1,多智能体通信:采用垂直通信范式,根据agent的角色分配不同的职责。为了促进生成的团队中代理之间的具体分工,引入了一个预定义的Action Observer作为团队负责人来协调执行计划。

2,Self-refinement Agent:利用AutoGPT和ReAct等机制,我们为单个代理设计了一种自细化机制。对于单个agent,步骤t处的动作是at=

,其中lt表示语言空间中的思想或推理轨迹(不改变外部环境,因此不产生观察反馈),pt表示更好地完成任务的执行计划,ot包括完成步骤和这次的执行输出。

3,Collaborative Refinement Action:多个代理共同努力细化和执行任务。 在这个协作过程中,代理按照固定的顺序轮流发言,每一轮协作都基于当前观察生成回应。 每个代理的聊天历史槽位(即记录交流历史的区域)会更新,将其他代理之前的发言串联在一起。 协作会一直持续,直到代理达成任务共识或达到预定的最大讨论轮次为止,此时协作过程会自动终止。

4,Knowledge Sharing Mechanism

(1)短期记忆主要集中在单个智能体上,包括在个体智能体自我改进过程中产生的中间想法、计划和执行结果。

(2)长时记忆主要针对多个agent之间的通信,主要记录单个agent执行的任务和关键反馈信息的汇总。

(3)动态记忆主要是为有特殊需求的代理服务的。Action Observer可以访问所有的短时记忆和长时记忆,根据agent执行任务所需的信息,动态地从短时记忆和长时记忆中提取补充信息,有助于提高单个agent的任务执行效率。

结论和分析

模型:GPT-4 API4

在起草阶段,讨论的最大次数是3次,在执行阶段,单个代理的自改进和多个代理的协作改进的最大次数是5次。

  1. 开放式问答任务

基于MT-bench(一个由80个高质量的开放式问题组成的基准),利用AutoAgents生成基于多个生成代理的协作答案,并将其与Vicuna-13B、ChatGPT和GPT-4给出的答案进行比较。采用fairreval和HumanEval作为单个代理和AutoAgents的评价指标

AutoAgent可以为开放问题提供更全面、更细致的答案。它还可以为其答案提供更详细的解释和理由。

  1. 琐事创意写作任务

这项任务需要一个模型来围绕给定的主题编写一个连贯的故事,同时结合N个琐事问题的答案。我们在N = 5和N = 10两种设置下评估模型,其中较高的N需要更多的琐事问题,因此要求模型展示更广泛的领域知识。我们为每个N构建了一个由100个实例组成的基准,总共包含1000个琐事问题。

评估标准:对生成的输出上的每个问题的真实目标答案进行字符串匹配。目标答案来自TriviaQA数据集,每个问题都可以有一个答案变体列表。与问题的任何答案变体相匹配都被认为是正确的提及。度量得分的计算方法为

AutoAgents在知识获取方面优于现有方法的性能。

  1. 多智能体群体合作解决复杂实际场景的潜力

通过使用AutoAgents开发俄罗斯方块游戏,生成了游戏设计专家、UI设计专家、程序员和调试专家等各种专家角色,以完成游戏开发任务。文章来源地址https://www.toymoban.com/news/detail-806116.html

  1. 局限
  1. 即使使用动态角色生成,它们仍然可能产生错误的结果。
  2. 该框架中不同角色之间的差异主要取决于提示和工具使用的变化,但这并没有强调不同专家角色之间的区别。

到了这里,关于【大模型系列】AutoAgents: A Framework for Automatic Agent Generation论文阅读的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 解读谷歌视频生成模型代表作:Lumiere A Space-Time Diffusion Model for Video Generation

    Diffusion Models视频生成-博客汇总 前言 :前段时间谷歌发布了基于LLMs的视频生成模型VideoPoet,这种信仰Transformers的做法就很Google。大家都以为2024年视频生成会是LLMs和SD两条路线之争,但是谷歌很快就发布了基于SD的视频生成模型Lumiere,这波直接偷家了?这篇博客详细解读Lum

    2024年02月19日
    浏览(16)
  • 论文阅读【自然语言处理-预训练模型2】BART:Denoising Sequence-to-Sequence Pre-training for Natural Language Generation

    BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension BART: 用于自然语言生成、翻译和理解的去噪序列对序列预训练 【机构】:Facebook AI 【作者】:Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, Luke Zettlemoye

    2024年02月03日
    浏览(18)
  • 虚幻引擎程序化资源生成框架PCG(Procedural Content Generation Framework) 之 PCG基础

    可以和Houdini说拜拜了 Unreal Engine 5.2全新推出了程序化资源生成框架即Procedural Content Generation Framework下文简称PCG, 开发者可以通过PCG程序快速生成宏大且复杂的游戏场景。以往这种程序化资源(场景)的生成需要借助Houdini来实现,有了PCG,真的可以和Houdini说拜拜了! 优点:

    2024年02月11日
    浏览(27)
  • An Automatic Hyperparameter Optimization Strategy for Machine Learning Models

    Abstract Machine learning models are often sensitive to hyperparameters, which can significantly affect their performance. In this paper, we propose an automatic hyperparameter optimization strategy that aims to efficiently search for the optimal combination of hyperparameters. Our approach combines multiple techniques, including random search, grid search,

    2024年02月07日
    浏览(18)
  • MySQL 8.0 Reference Manual(读书笔记77节--Merge Threshold for Index Pages & Automatic Configuration for a Dedicated MySQL Server)

    You can configure the MERGE_THRESHOLD value for index pages. If the “page-full” percentage for an index page falls below the MERGE_THRESHOLD value when a row is deleted or when a row is shortened by an UPDATE operation, InnoDB attempts to merge the index page with a neighboring index page. The default MERGE_THRESHOLD value is 50【默认值是50】, whi

    2024年03月27日
    浏览(25)
  • MetaGPT( The Multi-Agent Framework):颠覆AI开发的革命性多智能体元编程框架

    一个多智能体元编程框架,给定一行需求,它可以返回产品文档、架构设计、任务列表和代码。这个项目提供了一种创新的方式来管理和执行项目,将需求转化为具体的文档和任务列表,使项目管理变得高效而智能。对于需要进行规划和协调的项目,这个框架提供了强大的支

    2024年01月20日
    浏览(26)
  • Shepherd: A Critic for Language Model Generation

    本文是LLM系列的相关文章,针对《Shepherd: A Critic for Language Model Generation》的翻译。 随着大型语言模型的改进,人们对利用这些模型的能力来完善其自身输出的技术越来越感兴趣。在这项工作中,我们介绍了Shepherd,这是一个专门针对批评模型响应和建议改进的语言模型,它超

    2024年02月12日
    浏览(18)
  • 【论文解读】Prefix-Tuning: Optimizing Continuous Prompts for Generation

    一.介绍 1.1 前置知识 1.1.1 in-context learning At the limit, GPT-3 (Brown et al, 2020) can be deployed using in-context learning, which is a form of prompting, without modifying any LM parameters. \\\"部署\\\" 指的是将 GPT-3 模型用于实际应用或特定任务的过程。 \\\"In-context learning\\\" 是一种 通过提供上下文或附加信息来指导

    2024年02月07日
    浏览(19)
  • 【大模型系列 06】LLaMA-7B/13B for PyTorch 昇腾迁移

    https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/PyTorch/built-in/foundation/LLaMA-13B LLaMA是由Meta AI发布的大语言系列模型,完整的名字是Large Language Model Meta AI。LLaMA按照参数量的大小分为四个型号:LLaMA-7B、LLaMA-13B、LLaMA-30B与LLaMA-65B。LLaMA 模型的效果极好,LLaMA-13B在大多数基准测试中的表现

    2024年02月12日
    浏览(13)
  • Multi Diffusion: Fusing Diffusion Paths for Controlled Image Generation——【论文笔记】

    本文发表于ICML 2023 论文官网:MultiDiffusion: Fusing Diffusion Paths for Controlled Image Generation           文本到图像生成模型已经具有合成高质量和多样化图像的能力,但是由于难以为用户提供对生成内容的直观控制,因此将文本到图像模型部署到现实世界的应用程序仍然具有挑战

    2024年02月02日
    浏览(13)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包