跳到正文
  1. GitHub Blog · AI & ML73

    GitHub 发布 AI 代码审查开放基准 ReviewBench

    GitHub 发布 AI 代码审查开放基准 ReviewBench,其 219 个 pull request 来自 187 个公开开源许可仓库,覆盖 19 种语言,分布参考了对 103.9M 个 GitHub pull request 的分析。

    推荐理由:公开数据集、评分规则和自助运行器形成可复现评测链路,线上实验案例也展示了离线指标筛选代码审查改进的用法。

  1. Hugging Face Blog82

    Microsoft ThinkingBox 用数据库终态检验 AI 智能体是否真正完成任务

    Microsoft ThinkingBox 根据智能体执行后留下的数据库终态和副作用评分,并让507个有状态业务工作流各重复运行20次,以衡量结果一致性。在覆盖12个LLM、121,680次有效试验的消融中,79,853次未通过可执行检查,其中67.24%仍正常结束、调用了状态变更工具且未报告最终工具错误。

    推荐理由:它把智能体评估从回答与工具调用转向数据库终态,并以连续20次运行揭示单次成功率难以代表工作流可靠性。

  1. Google Research67

    Google 以多智能体框架自动生成连贯长视频

    Google 提出 AI video co-director、CANVAS、A²RD 和 VQQA,以多智能体编排提升长视频的叙事、角色与场景一致性。该体系构建于 Gemini 和 Veo 之上,通过全局创意优化、持久视觉记忆、自回归片段生成及 VLM 闭环提示词优化,支持生成数分钟视频。

    推荐理由:研究将长视频一致性拆解为全局编排、视觉记忆、时序生成和闭环优化,为多镜头生成系统提供了可迁移的工程框架。

  1. Hugging Face Blog65

    ALTK-Evolve 引入一致性指南,将智能体重复运行一致性差距减半

    IBM Research 在 ALTK-Evolve 中引入一致性指南,通过一致性分析器定位智能体易翻转的决策点,将 AppWorld 上 GPT-4.1 ReAct 智能体的 Pass^5 从 53.0% 提升至 69.0%,一致性差距从 24.4pp 降至 12.0pp,且平均准确率不降反升。

    推荐理由:原文提出用一致性分析器定位智能体易翻转的决策点,并给出可复用的诊断与修复方法。

已经到底了