AI: 擴展 AI 評估 (‘Evals’) 的挑戰與代理協作

原始來源與檔名：2026-06-02T093003+0800-AI Scaling AI Evaluations (‘Evals’). RTZ 582.md

NAPKIN | 餐巾纸

餐巾纸公式

$\text{Eval Crisis} = \frac{\Delta \text{Model Capability}}{\Delta \text{Benchmark Difficulty}} \times \text{Interoperability Cost}$

這公式說明了當前評估系統面臨的危機：模型能力的提升速度遠超過基準測試難度的更新速度，加上未來多模型協同工作 (Interoperability) 所帶來的高昂測試成本，導致我們越來越難以準確衡量 AI 的真實極限。

一句话

當 AI 聰明到能輕易破解現有考試時，我們面臨的不僅是出題速度跟不上的危機，還有如何衡量這群高智商 AI 彼此合作與背叛的新難題。

餐巾纸草图

[ AI 能力成長曲線 (指數) ] 
          /
         /  <-- (Gap: 評估危機區)
        /
-------/----------------- [ 傳統 Benchmark 天花板 (MMLU 92%) ]
      /
     /
[ 時間 ]

ROUND 1: SKELETON | 骨架掃描

“这本书在说什么”

章节骨架

  1. 能力溢出: 現有測試（如 MMLU）已達天花板，失去區分度。
  2. 新型 Evals: FrontierMath 與 ARC-AGI 試圖測試真實推理能力而非記憶。
  3. 防作弊難題: Evals 容易被模型透過「資料污染」或針對性優化來作弊。
  4. 成本與責任: 評估成本高達數千美元，該由開源社群還是巨頭買單？
  5. 模型協作測試: Claude 3.5 在「代理人合作」上勝過 GPT-4o 與 Gemini，揭示了新的評估維度。

ROUND 2: DISSECTION | 血肉解剖

“凭什么这么说”

论证链

模型進化太快 --> 輕易刷滿舊有考卷(MMLU) --> 無法得知模型的真實能力與潛在危險(如生物武器/欺騙) --> 需要開發如 ARC-AGI 的動態推理測試 --> 同時，未來的應用是多代理協作 --> 必須加入博弈論(如捐贈遊戲)來評估模型間的合作與背叛傾向

关键证据

  1. 能力飽和: OpenAI 的 o1 模型在涵蓋各學科的 MMLU 測試中得分已達 92.3%，繼續提升分數已無實質意義。
  2. 推理突破: 在過去 AI 極度苦惱的 ARC-AGI（抽象推理）和 FrontierMath（前沿數學）中，o3 模型展現了驚人的分數躍升（從 2% 跳到 25.2%）。
  3. 合作實驗: 透過經典的「捐贈遊戲 (Donor game)」，研究發現 Claude 3.5 Sonnet 能建立穩定的合作模式，而 GPT-4o 越發不合作，Gemini 則幾乎不合作，且引入「懲罰機制」後差距更大。

隐形假设与边界

ROUND 3: SOUL | 靈魂提取

“还能怎么用”

跨域映射

AI: Scaling AI Evaluations (‘Evals’). RTZ #582 (Architectural Deep Dive)

前言/背景

隨著 LLM 的能力朝向 AGI (通用人工智慧) 邁進，AI 產業界正面臨一個嚴峻的「衡量危機」。當現有的基準測試（Benchmarks）被頂尖模型輕易「刷爆」時，開發者與監管機構將失去評估模型真實能力與潛在風險（如欺騙、網路攻擊）的尺標。本文不僅探討了下一代 Evals 的挑戰，更引入了一個前沿議題：當多個 AI 代理 (Agents) 必須協同工作時，我們該如何評估它們的「互操作性」與合作意願？

章節詳細總結

1. 基準測試的飽和與新型 Evals 的崛起 (The Eval Crisis)

過去 AI 能力的突破往往需要數年（如 ImageNet, AlphaGo），但現在的 LLM 幾個月內就能攻克極難的考試。例如，涵蓋廣泛知識的 MMLU 測試，OpenAI 的 o1 模型已達到 92.3% 的高分。這導致了分數飽和，無法反映模型的真實進步。 為此，業界推出了更難的測試：

2. 紅隊演練與國家安全維度 (Red-Teaming & Security)

Evals 不僅是為了測試智商，更是為了安全。各大實驗室（如 OpenAI, Anthropic, DeepMind）都承諾在發布前進行嚴格的紅隊演練，以防範模型具備大規模生物攻擊或說服/欺騙人類的能力。

3. 多代理協作與博弈論評估 (Interoperability & Cooperation)

文章後半段揭示了一個極具架構價值的研究：不同廠商的 LLM 在協作時表現出截然不同的「性格」。透過「捐贈遊戲 (Donor Game)」測試：

4. 評估的成本與責任歸屬 (Cost and Responsibility)

進行高品質的 AI 評估極其昂貴，單次模型測試可能高達 $1,000 到 $10,000 美元。目前大量開源 Evals 由非營利組織承擔，這引發了「為何由慈善機構來補貼估值百億的公司」的爭議。未來，第三方 Evals 將成為企業 AI 合規 (Compliance) 的標準配備。

總結與結論