TheoPhysEval基准测试AI智能体物理研究能力

研究团队发布TheoPhysEval理论物理基准测试，测试商用AI智能体在无人类提示下解决50道研究题。GPT-6-Astra在OpenAI Codex环境中答对49题（98%），每题平均成本低于3美元，总成本约116美元。 测试在两种条件下各进行两次：有网络搜索的现实条件和无互联网的隔离条件。基准测试问题和设置已作为数据集上传至Hugging Face供验证。作者预计更难的问题将需要更多资源。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。