GPT-6-Astra於TheoPhysEval理論物理測試答對49題 AI反揪出專家參考答案錯誤

一項名為TheoPhysEval的理論物理AI測試近日公布結果。OpenAI的GPT-6-Astra於Codex編程環境下運作，在50條未公開的研究級理論物理難題中答對49條，準確率達98%，平均每題成本不足3美元，完成整套測試的總成本約116美元。結果引起科技界及學術界廣泛討論。

TheoPhysEval理論物理測試由35名研究人員設計

TheoPhysEval由35名物理學家及電腦科學家共同設計，參與機構包括國際理論科學中心（ICTS）、哈佛大學、比利時魯汶大學及Google DeepMind。論文於10月9日上載至預印本平台arXiv。

測試共有50條從未公開的研究級題目，橫跨11個理論物理範疇，由流體力學、生物物理，以至粒子物理及宇宙學均有涉獵。研究團隊指出，一般題目需要該細分領域的頂尖專家花約1日才能解答，相鄰領域的專家則需時更長。所有題目均有可驗證的最終答案，AI代理需在沒有人類提示的情況下自行完成。

GPT-6-Astra與Claude、Gemini等AI代理成績比較

研究團隊測試了5個市面上可用的AI代理，每個代理分別在兩種條件下作答：一種可使用網上搜尋及背景論文，另一種則完全離線，只可使用本機工具。

在可上網的條件下，GPT-6-Astra答對49題，準確率98%；Anthropic的Claude Opus 5.5於Claude Code環境下得92%；Google的Gemini 3.8 Flash得68%；開源模型DeepSeek-V4.1-Flash及GLM 5.3分別得54%及42%。

在離線條件下，GPT-6-Astra及Claude Opus 5.5同樣答對46題。研究團隊認為，大部分代理在兩種條件下的成績差距不大，反映頂尖大型語言模型已記住大量理論物理文獻內容。

AI反指專家參考答案出錯

是次測試最受注目的細節，在於評分過程。研究團隊表示，初步評估時GPT-6-Astra的準確率約為80多%，但當團隊檢查模型的「錯誤」時，模型堅持自己的答案正確，並指出是專家提供的參考答案有誤。

團隊其後請出題專家重新核算，發現多宗個案中專家的計算確實藏有細微錯誤。專家修正答案後，GPT-6-Astra的得分逐步上升，最終達到98%。換言之，原本用來評核AI的標準答案，反過來被AI糾正。

TheoPhysEval結果的局限

研究團隊亦提醒，論文目前仍屬預印本，尚未經同行評審；每個代理只運行了一次，而題目設計、測試及評分均由同一團隊負責，結果暫未有外界獨立重現。

團隊又指出，儘管AI代理解題能力出色，但至今仍未出現由AI主導的理論物理重大突破。他們認為，其中一個原因可能是AI仍欠缺判斷哪些問題值得研究的「品味」。

常見問題

GPT-6-Astra在TheoPhysEval答對多少題？

在可使用網上搜尋的條件下，GPT-6-Astra答對50題中的49題，準確率98%；離線條件下則答對46題。

TheoPhysEval理論物理測試由誰設計？

測試由國際理論科學中心、哈佛大學、魯汶大學及Google DeepMind等機構共35名研究人員設計，論文於2026年10月9日上載至arXiv。

GPT-6-Astra完成TheoPhysEval的成本是多少？

平均每題成本不足3美元，完成整套50題測試的總成本約116美元。

參考資料

https://arxiv.org/abs/2610.16733
https://the-decoder.com/gpt-6-astra-solves-49-of-50-physics-research-problems-at-2-40-apiece/