燃燒 Token 成為新的虛榮指標：企業 AI 轉型的盲點

原始來源與檔名：2026-05-21T093131+0800-Token Burn Is the New Vanity Metric.md

NAPKIN | 餐巾紙

餐巾紙公式

AI Transformation ≠ Token Usage + Agents Launched AI Transformation = Shared Context (Company Brain) + Minimized Rediscovery + Actual Outcomes

公式說明：企業評估 AI 導入是否成功，不應看消耗了多少 Token 或啟動了多少 Agent（這些只是虛榮指標）。真正的轉型在於是否建立了「企業大腦」來共享上下文，從而減少 AI 每次啟動時的重新探索與推論成本。

一句話

如果你獎勵「AI 使用量」，你得到的只會是無意義的 Token 燃燒。真正的企業 AI 基礎設施，不是讓每個新 Agent 都像失憶症患者一樣重新搜索全公司的資料，而是提供編譯好的結構化狀態 (Compiled State)。

餐巾紙草圖

[ The Vanity Metric Cycle (Expensive Amnesia) ]
New Task -> Agent wakes up (Amnesia) -> Search all Slack/Jira/Drive -> Stuff Huge Prompt -> Burn Tokens -> Output -> (Context Lost)

[ The Structure Cycle (Company Brain) ]
New Task -> Agent connects to Semantic State -> Gets Pre-compiled context -> Minimal Tokens -> Accurate Output -> (State Updated)

ROUND 1: SKELETON | 骨架掃描

「這篇文章在說什麼」

核心問題: 為什麼企業投入大量資金使用 AI，卻高達 94% 沒看到顯著的業務價值？
核心答案: 因為企業錯把「使用量 (Token burn, Agent 數量)」當作 KPI。解決方案是從「查詢時的暴力破解」轉向「結構化的共享上下文 (Company Brain)」。
論證結構: 點出虛榮指標的亂象 -> 解釋為何發生 (Goodhart 定律與 Cobra 效應) -> 分析當前架構的缺陷 (Expensive Amnesia) -> 提出解法 (Semantic state layer) -> 重新定義成功的測量標準。

章節骨架

現狀觀察: 「燃燒 Token」成了企業展現進步的虛榮指標 (Vanity Metric)。
動機分析: 當真實的業務產出難以測量時，人們就會去優化容易測量的代理指標 (如 Agent 啟動次數)。這是眼鏡蛇效應 (Cobra Effect)。
架構痛點 (Expensive Amnesia): 目前多數 Agent 是無狀態的。每次任務都要把 Slack, Jira, Drive 全掃一遍塞進 Prompt，這是依賴暴力破解 (Brute force) 的昂貴失憶症。
Sentra 的解法 (Company Brain): 建立一個語義狀態層 (Semantic state layer)，將離散的企業知識編譯成結構化的上下文。
終局思考: 未來勝出的企業不是「用最多 AI」的，而是懂得透過記憶與結構來「減少 Token 浪費」的。

ROUND 2: DISSECTION | 血肉解剖

「憑什麼這麼說」

論證鏈

企業急於證明自己在擁抱 AI --> 由於難以衡量 AI 帶來的實際利潤，轉而衡量 Token 消耗量與 Agent 部署量 --> 開發者為了滿足 KPI，使用多 Agent 進行窮舉 (Combinatorial explosion) 產生大量草稿與分支 --> 結果：生成變得廉價，但人類的「審查負擔 (Judgment burden)」急劇上升，且每次檢索都浪費大量 Token --> 結論：必須放棄暴力檢索，改建具備結構化記憶的「企業大腦」。

關鍵證據

麥肯錫數據: 90% 企業部署了 AI，但 94% 沒看到價值。這證明了「佈署」與「產出」之間的嚴重脫節。
OpenRouter 成本分析: GPT-5.5 的實際花費比 5.4 高出 49-92%。證明了「硬體會讓 Token 永遠便宜下去」的假設在企業級應用中是不成立的，無效的長上下文 (Irrelevant context) 依舊極其昂貴。
內部測試對比: Sentra 在測試中發現，提供「結構化檢索」比「無腦塞入長歷史紀錄」能減少 30% 到 90% 的 Token 消耗。

隱形假設與邊界

隱形假設:
- 構建所謂的「Company Brain (結構化語義層)」是技術上可行的，且維護這個 Brain 的成本低於暴力檢索浪費的 Token 成本。
- 作者身為 Sentra 的創辦人，文章的核心目的是為自家產品 (Company Brain) 鋪陳理論基礎。
邊界條件:
- 在創意發想或一次性的程式碼生成等「探索性任務 (Exploratory work)」中，消耗 Token 進行暴力窮舉在短期內依然是理性的選擇。

ROUND 3: SOUL | 靈魂提取

「還能怎麼用」

知識連接: 此文再次呼應了《No .md files until Series B》與《ActiveGraph》的終極命題：Agent 的下一步不是更大的模型，而是更好的記憶架構 (Memory Architecture)。 將檢索時間點從 Query-time 提前到 Compile-time，是所有高效能系統的共通法則。
行動觸發: 檢視團隊目前的 AI 工具，是否每次都需要手動餵入相同的 Prompt 和背景知識？如果是，請立刻停止追求「使用了多少 Token」，轉而著手建立一個靜態的上下文資料庫。

系統架構師洞察：從暴力檢索到編譯狀態

這是一篇極具深度的 AI Infra (基礎設施) 架構文章。作者精準地指出，當前的企業 AI 架構正處於一個「依賴算力掩蓋架構缺陷」的粗暴階段。

核心架構轉移

1. Query-Time Brute Force vs. Compiled State

這句話是全文的技術眼：“The architectural shift is from query-time brute force to compiled state.”

現狀 (Query-Time)：目前的 RAG 系統，是在使用者發出 Request 的瞬間，去各大系統 (Slack, Jira) 進行向量檢索，然後組成一個巨大的 Prompt 傳給 LLM 進行意圖推斷。這在分散式系統中等同於「每次收到請求，都去全表掃描 (Full Table Scan) 一次資料庫」。
未來 (Compiled State)：真正的 Agent 系統應該像編譯器一樣。平時就在背景將 Slack 的對話、Jira 的狀態「編譯 (Compile)」成結構化的語義視圖 (Materialized Views)。Agent 啟動時直接讀取這個狀態圖譜，極大化降低了 LLM 的推理成本 (Inference Cost)。

2. 轉移瓶頸：Generation to Judgment (從生成到審判)

在沒有共享上下文的情況下，開發者傾向於「開多個 Agent 跑不同的解法」。這導致系統的瓶頸從「生成代碼/草稿」轉移到了「人類必須花費極高認知成本去審查這些草稿」。

架構決策：這證明了單純的 Fan-out (扇出) 平行運算在 AI Agent 中是危險的。沒有共同基礎事實 (Ground Truth) 的平行生成，只會製造出指數級的知識熵 (Entropy)。

總結

不要把「每次都要讀取整座圖書館才能回答一個問題」的失憶症 Agent 稱為智能。真正的企業級架構，Structure beats scale (結構勝過規模)。在 AI 應用的下一階段，架構師的職責就是設計出這個能讓 Agent “Start closer to the needle” (離目標更近一步) 的記憶編譯層。