WebShaper是什么

WebShaper 是阿里巴巴通义实验室推出的创新的 AI 训练数据合成系统。通过形式化建模和智能体扩展机制，为 AI 智能体（Agent）的训练提供了高质量、可扩展的数据。WebShaper 首次引入了基于集合论的“知识投影”（Knowledge Projection, KP）概念，通过 KP 的交集、并集和递归操作，构造复杂的问题结构，精准控制推理路径和任务复杂度。WebShaper 的 Expander 智能体能从简单的“种子问题”出发，逐步扩展成复杂的推理任务，让 AI 自己“出题”。训练策略结合了监督微调（SFT）和 GRPO 强化学习，使模型在复杂信息检索任务中表现出色。

WebShaper的主要功能

• 形式化建模：WebShaper 首次提出了基于集合论的 IS（信息搜寻）任务形式化建模方法。通过“知识投影”（Knowledge Projection, KP）将复杂的信息搜寻任务分解为多个集合操作（如交集、并集、递归操作）。每个 KP 是一个包含特定实体的集合，通过这些操作可以构造出复杂的问题结构，精准控制推理路径和任务复杂度。
• 智能体扩展机制：WebShaper 的一大创新是让 AI 自己“出题”。通过 Expander 智能体，系统从一个简单的“种子问题”开始，逐步扩展成复杂的推理任务。Expander 智能体调用搜索、摘要、验证等工具，逐步构造出更复杂、逻辑清晰的问题，并验证答案的正确性。确保了推理链条清晰，任务结构可控。
• 高质量数据生成：WebShaper 通过形式化建模和智能体扩展机制，生成的训练数据不再是“靠猜题”，而是可控、可解释、可扩展的高质量任务。突破了预检索数据的边界，实现了更广泛的任务类型、能力激发和知识覆盖，减少了数据合成中的错误和冗余信息。
• Agent 训练策略：WebShaper 采用监督微调（SFT）和 GRPO 强化学习的组合策略，让 AI 智能体在模糊、多跳信息中逐步掌握推理与检索能力。训练从高质量的训练轨迹开始，通过奖励机制引导模型进行多步推理，避免“走捷径”或“猜答案”。

WebShaper的技术原理

• 形式化驱动框架：WebShaper 采用集合论对信息检索任务进行系统形式化，核心是“知识投影”（Knowledge Projections, KP）概念。KP 是基于特定关系的实体集合，
• 知识投影操作
  • R-并集：用于处理不确定性条件，例如“2000-2010年参赛的球员”可以通过并集操作表示。
  • 交集：用于处理多条件约束，例如“2000年参赛且90年代出生的球员”。
• 任务扩展机制：WebShaper 通过“种子任务”开始，利用扩展器（Expander）逐步扩展问题复杂度。扩展器基于形式化框架，结合检索和验证工具，将简单问题扩展为复杂问题，确保逻辑一致性和任务难度。
• 数据合成与训练：生成的复杂问题被转换为训练数据，通过监督微调（SFT）和强化学习（如 GRPO 算法）进行模型训练，提升模型在复杂信息检索任务中的推理能力。

WebShaper的项目地址

• Github仓库：https://github.com/Alibaba-NLP/WebAgent
• HuggingFace模型库：https://huggingface.co/datasets/Alibaba-NLP/WebShaper
• arXiv技术论文：https://arxiv.org/pdf/2507.15061

WebShaper的应用场景

• 文献整理与分析：WebShaper 可以帮助研究人员快速收集和整理相关文献，进行跨学科的知识发现。
• 市场调研：WebShaper 可以用于市场调研、竞争分析和投资决策支持。企业分析师可以让 AI 系统自动收集行业数据、分析市场趋势、评估竞争对手的策略。
• 智能学习助手：WebShaper 可以成为智能学习助手，帮助学生进行深度学习和研究性学习。
• 生活决策：WebShaper 可以在出行规划、健康查询、生活决策等场景下，即开即用，为用户提供个性化的信息支持。
• 医疗信息查询：WebShaper 可以帮助用户查询医疗健康信息，提供专业的医疗建议和健康咨询。