研究发现编码智能体框架差异多为噪声,复杂框架更贵但未必更好
Liu 和 Han 的研究发现,在 SWE-bench Verified 上更换编码智能体框架对通过率的影响与同一配置重跑相当,差异多在噪声范围内。
Liu 和 Han 的研究发现,在 SWE-bench Verified 上更换编码智能体框架对通过率的影响与同一配置重跑相当,差异多在噪声范围内。
Google Research 发布地理空间推理智能体的技术报告,在 CBGB、UnivEARTH 及自建的 GeoExpertQueries、GeoKTools 四个基准上对比四种配置,结果显示接入 Earth AI 专用工具后 GeoExpertQueries、GeoKTools、CBGB 得分明显提升,而开放式任务还需前置规划。
微软研究院提出 StudentSim,从公开的去标识化学习记录训练个性化学生模拟器,用于在真实学习者测试前评估和改进 AI 导师。研究同时发布 StudentSimEval 基准,覆盖国际象棋、第二语言英语写作和数学三个领域,从行为保真度和对指导的响应度两个维度评估模拟器。
Import AI 476 期介绍了 Elorian 与 Scale AI 发布的 Humanity's Sixth Sense 基准,用 522 道题测试多模态模型的直觉视觉推理,人类 pass@1 为 93.1,表现最好的 GPT 6 Astra 仅 53.6,GLM-5.3-flash 与 Kimi K3 分别只有 26.8 和 25.5。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 103.9M 条 GitHub PR 的分布构建,包含 219 个 PR、覆盖 19 种语言。