研究发现编码智能体框架差异多为噪声,复杂框架更贵但未必更好
Liu 和 Han 的研究发现,在 SWE-bench Verified 上更换编码智能体框架对通过率的影响与同一配置重跑相当,差异多在噪声范围内。
Liu 和 Han 的研究发现,在 SWE-bench Verified 上更换编码智能体框架对通过率的影响与同一配置重跑相当,差异多在噪声范围内。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 103.9M 条 GitHub PR 的分布构建,包含 219 个 PR、覆盖 19 种语言。
伯克利 AI 研究团队提出 ABBEL 框架,将 LLM 的交互摘要隔离为自然语言"信念状态"并加以监督训练。在协作编码基准 CollabBench 上,该方法把与全上下文模型的性能差距缩小约 50%,训练步数从 100 步降至 50 步,峰值上下文 token 数也明显低于全上下文设置。