跳到正文
只看论文#评测/基准
10月5日周一
  1. GitHub Blog · AI & ML73

    GitHub 发布 AI 代码审查开放基准 ReviewBench

    GitHub 发布 AI 代码审查开放基准 ReviewBench，其 219 个 pull request 来自 187 个公开开源许可仓库，覆盖 19 种语言，分布参考了对 103.9M 个 GitHub pull request 的分析。

    推荐理由：公开数据集、评分规则和自助运行器形成可复现评测链路，线上实验案例也展示了离线指标筛选代码审查改进的用法。

  2. Simon Willison45

    Qwen3.8 27B 英文单词加法能力评测

    Qwen3.8-27B-Q4_K_M.gguf 在正整数相加并仅用英文单词输出结果的评测中，关闭推理时数值准确率为23.57%。5,070个样例的格式合规率达96.17%，准确率从1-3位操作数的97.04%降至10-13位的6.44%。启用中等推理后，169次测试答对167次。

9月30日周三
  1. Hugging Face Blog63

    Hugging Face 推出 Open TTS Leaderboard，评测多语种文本转语音与声音克隆模型

    Hugging Face 推出 Open TTS Leaderboard，以客观指标评估开源多语种文本转语音与声音克隆模型。榜单使用 Qwen3 ASR 计算 WER/CER，在 H200 GPU 和 CPU 上测量 RTFx 与 TTFA，并以 WavLM 嵌入的余弦相似度评估说话人相似性，将单个模型的评测时间从数周缩短至数小时。该榜单不取代人工偏好排名，也不直接衡量自然度、表现力或听众偏好。

    推荐理由：榜单以统一客观指标覆盖开源多语种 TTS，将评测周期从数周缩至数小时，可缓解竞技场对开放权重模型覆盖不足的问题。

  2. Simon Willison62

    Anthropic Frontier Red Team：GLM-5.3 在 100 项二进制漏洞利用任务中 4% 实现完整控制流劫持

    Anthropic Frontier Red Team 在内部 Binary Exploitation 基准中随机抽取 100 项任务评测多个模型，GLM-5.3 在 4% 的试验中实现完整控制流劫持，Claude Mythos Preview 为 6%。此前的 Claude Opus 4.6 和 GLM-5.2 在这些任务中均未成功，红队认为一个有意义的能力门槛已被跨过。