阿里巴巴开源WebAgent：结合信息检索与强化学习的自主决策搜索AI智能体

阿里巴巴在 GitHub 上开源了其创新的自主搜索 AI 智能体——WebAgent，旨在提升端到端的信息检索与多步推理能力。这款智能体能够像人类一样在网络环境中主动感知、决策和行动。例如，当用户希望了解某个特定领域的最新研究成果时，WebAgent 可以自动搜索多个学术数据库，筛选出最相关的文献，并根据用户需求进行深入分析和总结。

据介绍，WebAgent 不仅能够识别文献中的关键信息，还能通过多步推理整合不同文献中的观点，最终为用户提供一份全面且精准的研究报告。WebAgent 包含两个主要部分：WebDancer 和 WebWalker。前者是一种端到端智能体训练框架，专注于增强基于网络的 AI 智能体的多步骤信息搜索能力；后者则是一个“Web 遍历中的 LLM 基准测试”。

WebDancer 的框架由四大模块组成，从数据构建到训练优化逐步打造能够自主完成复杂信息检索任务的智能体。数据构建是整个框架的起点，高质量的训练数据对于智能体的学习和泛化至关重要。WebDancer 通过两种创新的数据合成方法解决了传统数据集的局限性：短推理和长推理。短推理利用大模型直接生成简洁的推理路径，而长推理则通过推理模型逐步构建复杂的推理过程。

在数据准备完成后，WebDancer 进入监督微调（SFT）阶段。此阶段的目标是对智能体进行初始化训练，使其适应信息检索任务的格式和环境要求。在 SFT 过程中，轨迹中的思考、行动和观察分别被标记，并计算损失函数以优化模型参数。为了提高模型的鲁棒性，WebDancer 在计算损失时排除了外部反馈的影响，确保模型专注于自主决策过程。

强化学习（RL）阶段是 WebDancer 框架的核心环节。在此阶段，智能体通过与环境的交互学习如何在复杂任务中做出最优决策。WebDancer 使用 DAPO 算法，这是一种专门针对智能体训练设计的强化学习算法。DAPO 算法通过动态采样机制有效利用未充分利用的 QA 对，从而提高数据效率和策略的鲁棒性。经过多次尝试和反馈，智能体逐步优化其决策策略，最终实现高效的多步推理和信息检索能力。

官方地址如下：
– WebAgent：[GitHub](https：//github.com/Alibaba-NLP/WebAgent)
– WebDancer 论文：[arXiv](https：//arxiv.org/pdf/2505.22648)
– WebWalker 论文：[arXiv](https：//arxiv.org/pdf/2501.07572)

本文来源：