跳到正文
只看论文#评测/基准
  1. GitHub Blog · AI & ML73

    GitHub 发布 AI 代码审查开放基准 ReviewBench

    GitHub 发布 AI 代码审查开放基准 ReviewBench，其 219 个 pull request 来自 187 个公开开源许可仓库，覆盖 19 种语言，分布参考了对 103.9M 个 GitHub pull request 的分析。

    推荐理由：公开数据集、评分规则和自助运行器形成可复现评测链路，线上实验案例也展示了离线指标筛选代码审查改进的用法。

  1. Hugging Face Blog63

    Hugging Face 推出 Open TTS Leaderboard，评测多语种文本转语音与声音克隆模型

    Hugging Face 推出 Open TTS Leaderboard，以客观指标评估开源多语种文本转语音与声音克隆模型。榜单使用 Qwen3 ASR 计算 WER/CER，在 H200 GPU 和 CPU 上测量 RTFx 与 TTFA，并以 WavLM 嵌入的余弦相似度评估说话人相似性，将单个模型的评测时间从数周缩短至数小时。该榜单不取代人工偏好排名，也不直接衡量自然度、表现力或听众偏好。

    推荐理由：榜单以统一客观指标覆盖开源多语种 TTS，将评测周期从数周缩至数小时，可缓解竞技场对开放权重模型覆盖不足的问题。

  1. Hugging Face Blog65

    ALTK-Evolve 引入一致性指南，将智能体重复运行一致性差距减半

    IBM Research 在 ALTK-Evolve 中引入一致性指南，通过一致性分析器定位智能体易翻转的决策点，将 AppWorld 上 GPT-4.1 ReAct 智能体的 Pass^5 从 53.0% 提升至 69.0%，一致性差距从 24.4pp 降至 12.0pp，且平均准确率不降反升。

    推荐理由：原文提出用一致性分析器定位智能体易翻转的决策点，并给出可复用的诊断与修复方法。

已经到底了