AgentGym-RL

AgentGym-RL是一个用于训练大型语言模型智能体的新框架，它通过多轮强化学习进行多轮交互决策。该框架具有模块化和解耦的架构，确保了高灵活性和可扩展性。它涵盖了广泛的现实世界场景，并支持主流的RL算法。此外，论文中还提到了一种名为ScalingInter-RL的训练方法，旨在平衡探索和利用，并提高RL优化的稳定性。

AgentGym-RL 数据集概述

数据集基本信息

• 名称：AgentGym-RL
• 类型：强化学习训练框架与数据集
• 主要用途：训练大语言模型（LLM）智能体进行多轮交互式决策
• 核心特点：支持多轮交互、覆盖多样化真实场景、集成主流强化学习算法

核心组件

环境模块

• 设计：采用标准化服务器-客户端架构，支持统一HTTP协议和并行请求
• 支持环境：
  • Web导航：WebArena（在线购物、讨论论坛、协作开发、内容管理）
  • 深度搜索：基于Search-R1的RAG环境
  • 数字游戏：TextCraft文本制作游戏
  • 具身任务：BabyAI可控网格世界
  • 科学任务：SciWorld科学探索模拟器

智能体模块

• 功能：封装多轮交互中的推理和决策过程
• 支持机制：长时程规划、自我反思等高级机制

训练模块

• 强化学习算法：PPO、GRPO、RLOO、REINFORCE++
• 补充训练范式：SFT、DPO、AgentEvol

方法创新

ScalingInter-RL方法

• 核心策略：渐进式交互范围扩展
• 训练过程：
  • 初始阶段：较小交互范围，建立基础能力
  • 渐进扩展：逐步增加交互轮数，促进高阶认知行为
• 优势：平衡探索与利用，确保优化稳定性

性能表现

模型基准

• 骨干模型：Qwen2.5-3B和Qwen2.5-7B
• 比较对象：包括闭源模型和开源模型

主要成果

• ScalingInter-7B模型：
  • 显著超越GPT-4o等顶级专有模型
  • 在Shopping和CMS任务中达到最佳性能
• AgentGym-RL-7B模型：整体性能与GPT-4o相当
• 覆盖范围：在27个任务中表现优异，涵盖多样化环境

技术实现

环境交互

• RolloutHandler：处理轨迹计算，包括注意力掩码、损失掩码、位置ID和序列ID
• EnvClient：提供环境交互方法（观察、可用动作、执行动作、重置环境）
• 并行处理：环境初始化和轨迹收集并行进行

优势计算

• 修订实现：确保单轮和多轮场景下的正确性
• 支持算法：REINFORCE++和GAE

交互扩展

• RoundScheduler：训练期间扩展交互
  • FixedRoundsScheduler：固定最大交互次数
  • StepRoundsScheduler：逐步增加交互范围

数据集获取

• 下载地址：https://huggingface.co/datasets/AgentGym/AgentGym-RL-Data-ID
• 相关资源：
  • 论文：https://arxiv.org/abs/2509.08755
  • 项目页面：https://agentgym-rl.github.io/

可视化支持

• 交互式用户界面：支持完整交互轨迹的回放和检查
• 设置说明：https://github.com/WooooDyy/AgentGym/tree/640f8bca6901a6a6d540ff61522b813988da47c4/env-visualization

开发基础

• 训练模块：基于Verl（https://github.com/volcengine/verl）
• 环境模块：基于AgentGym（https://github.com/WooooDyy/AgentGym）

数据集介绍

构建方式

AgentGym-RL数据集通过模块化架构构建，涵盖网页导航、深度搜索、数字游戏、具身任务和科学实验五大真实场景。采用标准化HTTP协议的服务器-客户端设计，支持并行环境初始化与隔离交互，通过多轮轨迹收集和策略梯度优化实现强化学习训练。数据集整合了PPO、GRPO等主流算法，并引入工程优化以提升并行化和内存管理效能。

特点

该数据集具备高度多样性和扩展性，覆盖WebArena、SciWorld等复杂环境，支持长时程规划与自我反思机制。其核心特色在于渐进式交互扩展策略（ScalingInter-RL），通过动态调整交互轮数平衡探索与利用，避免训练崩溃并促进多样化行为生成。数据集提供可视化界面和标准化评估流程，确保实验可复现性及轨迹可追溯性。

使用方法

使用者可通过初始化环境客户端接收观测状态，基于策略生成动作并执行交互，收集轨迹后输入训练模块更新模型参数。支持在线强化学习与离线算法，允许自定义奖励函数和课程学习策略。实验过程中可调用交互轮数调节接口，逐步扩展探索范围，并利用可视化工具分析决策过程与性能表现。

背景与挑战

背景概述

AgentGym-RL由复旦大学与字节跳动Seed团队于2025年联合推出，旨在解决大语言模型在长周期多轮决策任务中的训练瓶颈。该数据集聚焦于自主智能体在复杂环境中的交互学习，涵盖网页导航、深度搜索、数字游戏、具身任务和科学实验五大场景。其模块化架构支持主流强化学习算法，无需依赖监督微调即可从零训练智能体，显著提升了开源模型在27项任务中的性能，部分指标甚至超越商业模型，为智能体研究提供了统一且可扩展的基准平台。

当前挑战

领域挑战在于智能体需在部分可观测环境中平衡探索与利用，解决长周期决策中的信用分配难题和稀疏奖励问题。构建挑战涉及多环境集成与工程优化：需统一异构环境的交互协议，解决并行化时的内存泄漏问题（如SciWorld时钟机制和TextCraft递归结构），并通过子进程架构提升WebArena等环境的并发能力。此外，还需确保训练稳定性，避免早期过多交互导致的策略崩溃。

常用场景

经典使用场景

在智能体决策研究领域，AgentGym-RL数据集被广泛用于训练和评估基于大语言模型的自主智能体在多轮交互任务中的表现。其经典使用场景涵盖网页导航、深度搜索、数字游戏、具身任务和科学实验五大类，例如在WebArena环境中模拟真实网站操作，或在SciWorld中执行科学探究流程。该数据集通过模块化设计支持智能体与环境的动态交互，为研究多步决策、长期规划及环境适应性提供了标准化测试平台。

实际应用

在实际应用层面，AgentGym-RL为开发现实世界自主智能体系统提供了重要支撑。其支持的场景可直接迁移至电子商务客服自动化、科学实验辅助决策、多步骤信息检索等垂直领域。例如，在网页导航任务中训练的智能体能够处理航班预订、商品信息提取等实际需求；在科学场景中训练的智能体可指导实验操作与数据分析。该数据集的高扩展性和工程优化设计使其能够适配异构硬件平台，为产业界部署大规模智能体系统提供了可靠基础。

衍生相关工作

AgentGym-RL衍生了一系列经典研究工作，主要包括基于其框架的强化学习算法改进（如GRPO和REINFORCE++在长周期任务中的适配）、多智能体协作机制的探索，以及测试时计算缩放策略的优化。相关研究进一步扩展了该数据集在思维链推理、自我反思机制、工具调用等方向的应用边界。同时，其开源生态催生了如AgentEvol等迭代微调方法，以及针对具体场景（如搜索引擎交互、科学工作流）的专项优化方案，推动了整个智能体研究社区的方法创新与工程实践。