算力狂潮的真正贏家：為何 Inference (推理層) 才是 AI 的終極戰場

原始來源與檔名：20260512_2026-05-05T094206+0800-所有人都低估了 AI 推理层的价值，而高估了大模型本身.md

來源：[[@SaitoWu]] / X (Twitter) — 2026-05-03 原始檔名：2026-05-05T094206+0800-所有人都低估了 AI 推理层的价值，而高估了大模型本身.md

NAPKIN | 餐巾紙

餐巾紙公式

Foundation Models (OpenAI/Anthropic) -> Commoditized (Cheaper, abundant). Custom Models (Post-trained on enterprise data) -> 95% of token volume. Value Capture = Inference Cloud (Running these custom models at scale with high utilization).

這篇文章透過分析 AI 推理雲服務商 Baseten (一年內成長 30 倍，預計營收破 10 億美元) 的爆發，點出了一個顛覆大眾認知的產業趨勢：所有人都高估了「訓練通用大模型」的價值，卻低估了「模型推理服務 (Inference)」的戰略地位。資料顯示，95% 的 Token 消耗來自企業基於自身私有數據進行後訓練 (Post-training) 的定製模型。未來的競爭不在於誰能練出最聰明的底層模型，而在於誰能把企業的工作流 (Workflow)、獨特數據與專屬的推理算力最緊密地綁定在一起。

一句話

不要再把眼光只盯著 OpenAI 或 Claude 了。Baseten 的瘋狂成長揭露了殘酷的真相：企業根本不想把敏感資料交給公有大模型，他們都在拿開源模型（如 Llama, Qwen）用自己的數據做「後訓練」，然後放在專屬的算力集群上跑。未來 AI 產業 95% 的錢，都會花在這種「跑定製模型」的 Inference (推理) 層上。誰掌握了推理雲和企業獨家的工作流數據，誰就掌握了 AI 時代真正的護城河。

餐巾紙草圖

[ The Value Shift in AI ]

Past (2023-2024): 
Value lived in Foundational Training (Giant Labs).
Enterprises merely sent API calls to GPT-4.

Future (2025-2026+): 
Value lives in Post-Training + Inference (Neoclouds like Baseten).
Enterprise Data + Open Source Model -> Custom Model -> Runs on Dedicated Inference.
Result: 95% of tokens are generated by Custom Models.

ROUND 1: SKELETON | 骨架掃描

“這篇文章在說什麼”

ROUND 2: DISSECTION | 血肉解剖

“憑什麼這麼說”

核心論證鏈

  1. 基礎模型的大宗商品化 (Commoditization of Foundational Models): 當開源模型 (如 Llama, Qwen) 的能力逼近甚至在特定領域超越閉源巨頭時，企業就沒有理由忍受閉源 API 的高延遲與資料外洩風險。這推動了「模型下放」的趨勢，企業紛紛轉向自建定製模型。
  2. 軟體定義的黏著度: 單純租 GPU 是沒有護城河的（IaaS 模式），但 Baseten 透過提供運行時優化 (KV Cache, 異步批次處理) 以及打通「後訓練與推理」的鏈路（PaaS 模式），創造了極高的客戶黏著度。前 30 大客戶零流失率就是最強的證據。

關鍵證據

邊界條件

ROUND 3: SOUL | 靈魂提取

“還能怎么用”