开源模型只做初筛: TheoPhysEval 实测通过率与 DeepSeek-1017 权重, 科学 agent 私有化两线架构

行业新闻 · 丁香 · 发布 2026-10-19 · 阅读 7

开放权重在科研级基准上第一次有了可对照的数字

TheoPhysEval 给的是一套硬题:50 道尚未发表的理论物理研究级题目,覆盖量子场论、全息与纠缠、引力与宇宙学等方向,每题都有可验证答案。没有 AI 辅助时,单一领域的世界级专家约需一天解出一题,相邻领域专家耗时更长。这套题因此适合检验 agent 在真实科研推导里的完成度,而不是记忆存量。

隔离轨道只掉 4 个百分点, 这是私有化的关键信号

评测分两条轨道:真实轨道允许联网检索文献、写脚本做数值与符号计算;隔离轨道断开网络、不给背景文献,仅保留本地计算工具。开放权重阵营里表现最好的是 DeepSeek-V4.1-Flash 搭配 Codex,真实轨道 54%、隔离轨道 50%。

这两条轨道的差值只有 4 个百分点,比闭源阵营的差距更值得关注:它意味着在网络受限的本地环境中,开放权重模型的能力不会出现断崖式下跌。对有合规要求、必须内网运行的科研与工业场景,这是可直接用于立项论证的依据。

闭源仍是前沿, 但有明确价格刻度

同一批题目上,GPT-6-Astra 配 Codex 在真实轨道取得 98% 最终答案准确率,平均每题成本低于 3 美元。98% 对 54% 的差距说明,在需要长链条推导的高难度任务上,闭源前沿模型仍不可替代。

但成本数字同时给出了另一个结论:高难度题目在 agent 侧是可按题计价的。3 美元一题的账单,让"先用开放权重初筛、再把解不出的题交给闭源"这种分层调度第一次能做成本核算——初筛层用本地部署的开放权重压成本,难题层付费买前沿准确率。

断网不掉分, 但要警惕文献记忆

研究方观察到,整体上 agent 在失去联网检索和背景文献后准确率只有小幅变化,提示模型对相关文献存在相当程度的记忆。对私有化选型而言,这带来一个需要主动验证的点:基准题库上的高分,未必等同于面对全新问题时的同等表现。内部评估时应自备未公开题目,而不是只看公开榜单。

对私有化落地的建议

一、科学计算与推导类负载按两线架构设计:本地开放权重做批量初筛与常规计算,闭源 API 只承接初筛失败的高难题目,用 3 美元一题的上限控住成本。二、网络条件受限的环境优先验证开放权重,隔离轨道 54% 到 50% 的落差说明本地部署的能力衰减可控。三、立项评估不要只看公开基准,配合自建未公开题目集,规避文献记忆带来的高估。

来源标注:arXiv:2610.16733《TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving》(2026-10-09 提交,hep-th)。准确率、双轨设计与单题成本均取自论文摘要与正文;单题成本为研究方实测均值,实际账单随任务难度与推理配置浮动。