Skip to content

如何公平比较 Agent 框架

建立不被功能清单带偏的统一比较方法。

它解决什么问题

框架选择首先是架构选择。相同的“支持多 Agent”，可能分别意味着图节点、角色团队、工具调用或控制权移交，产品的可控性与故障形态完全不同。

核心定义与工作原理

把比较拆成八个维度：核心抽象、控制流、状态与上下文、协作模式、协议与互操作、持久化与人工介入、可观测与评估、组织成本与锁定。先写清产品任务，再给各维度权重，最后用同一个场景做纸面建模。

架构视图（Architecture View）

分析时固定追问：谁拥有控制权，状态存在哪里，模型能决定什么，失败从哪里恢复，人工在哪个边界介入，运行证据如何被观察。

产品视图（Product View）

产品经理应先确定用户承诺：多久返回、能否撤销、谁批准、失败后从哪里继续。框架分数必须能映射到上线速度、体验稳定性、运营成本和迁移成本。

简单实践

为“企业研究报告”建立选型表：要求可暂停审批、并行检索、来源追踪、失败续跑。分别给八个维度 1—5 分，并记录证据和不确定项。此练习只比较架构表达，不追求跑通代码。

实践只要求架构图、状态或消息契约、失败路径和产品指标，不要求安装依赖或运行代码。

正常场景

任务按约定入口进入，编排层保留业务状态，各节点或 Agent 产出结构化结果，质量门控制下一阶段，用户获得可理解的进度与最终产物。

失败与恢复场景

模型超时、工具失败或子任务质量不足时，区分可重试、可降级和必须人工接管的错误。恢复应依赖业务状态或检查点，而不是把整段任务盲目重跑。

什么时候使用

  • 核心抽象与任务形态一致。
  • 团队能运维它的状态、观测和升级路径。
  • 能满足审批、权限、恢复与成本约束。

什么时候不要使用

不要用 GitHub Star、示例数量或营销术语代替决策；也不要假设一个框架必须承包模型、工具、存储和评估的全部能力。

Trade-offs

获得 代价
更清晰地表达目标架构 增加建模和治理成本
复用运行与生态能力 接受版本、依赖和迁移成本
提升自主性或协作能力 增加时延、成本与故障面

产品视角

  • 用户与业务问题：解决哪个可量化瓶颈？
  • 产品价值：提升成功率、速度、可控性还是覆盖范围？
  • 用户体验：进度、等待、切换和失败是否可理解？
  • 自主性边界：哪些判断交给模型，哪些由代码或人决定？
  • 数据与权限：状态、敏感数据和工具权限如何隔离？
  • 失败与降级：能否重试、续跑、切回简单流程或人工处理？
  • 产品指标：完成率、P95 时延、单任务成本、人工介入率、恢复成功率。

框架中的对应实现

统一评分卡；架构决策记录 ADR；同场景原型；退出条件与替换成本。

Workflow、Graph Orchestration、Supervisor、Handoff、Context Isolation、HITL、Durable Execution、Evals。

检查清单

  • [ ] 产品约束先于实现选择
  • [ ] 区分代码控制与模型控制
  • [ ] 明确状态事实源、预算和恢复点
  • [ ] 覆盖权限、审计和可观测性
  • [ ] 记录组织成本与退出方案

延伸练习与参考资料

用同一产品场景改画另一种架构，比较运行语义而非 API 长短；继续阅读对应框架的官方架构、持久化、HITL 与观测文档。