推理側 AI Infra 的戰略價值：新雲 (Neoclouds) 如何主導推理時代 (AI Inference Infra & Neoclouds)

原始來源與檔名：20260512_2026-05-05T094032+0800-推理侧AI Infra的战略价值：为什么新云正在成为推理时代的核心战场.md

來源：[[@yiran2037840]] / X (Twitter) — 2026-05-03 原始檔名：2026-05-05T094032+0800-推理侧AI Infra的战略价值：为什么新云正在成为推理时代的核心战场.md

NAPKIN | 餐巾紙

餐巾紙公式

Training = Creating the Brain. Inference = Operating the Body. AI Competitiveness = Model Weights + Inference Infra (KV Cache + Batching + Routing). Neoclouds (GPU-first) + Optimization Software = 10x Throughput = Higher Margin & Lower Latency.

當大家還在比較哪個 LLM 跑分高時，戰場早就轉移了。這篇文章深入探討了 AI 基礎設施（AI Infra）在 2026 年的核心戰略地位。作者指出，隨著推理（Inference）工作量預計佔據整個 AI 算力的三分之二，「如何把模型以最低成本、最高速度提供給全球用戶」成為了商業生死線。文章剖析了 vLLM、PagedAttention 等底層軟體優化如何帶來 14 倍的吞吐量差距，並解釋了為什麼專注於 AI 算力的「新雲 (Neoclouds)」(如 Nebius) 正在吞噬傳統雲廠商的市場份額，甚至迫使科技巨頭提前以百億美金「鎖定算力」。

一句話

這是一篇將 AI 技術底層與資本市場邏輯打通的重磅深度文。作者直言：未來的 AI 戰爭，一半在模型，另一半在 Infra。同樣的 GPU 硬體，在不同的軟體 Infra（如 KV cache 管理、連續批處理、MoE 路由）優化下，產出的 Token 數量可以相差高達 105 倍！這也是為什麼 Nebius 等新興 AI 雲廠商不僅瘋狂搶購 GPU，還要收購 Eigen AI 這樣的推理優化公司。因為新雲的利潤來源不再只是「租硬體」，而是「透過極致的軟體優化，低成本印出高品質的 Token」。

餐巾紙草圖

[ The Shift in AI Compute ]
2023: Training (66%) | Inference (33%)
2026: Training (33%) | Inference (66%)

[ The Infra Multiplier Effect ]
Hardware: 1x NVIDIA B300
Infra A (Basic): 1,000 tokens/s -> Bankruptcy
Infra B (Optimized: vLLM + SpecDec + MTP): 14,000 tokens/s -> Huge Margins

ROUND 1: SKELETON | 骨架掃描

“這篇文章在說什麼”

• 什麼是 AI Infra: 不只是 GPU 和機房。它是分散式調度、KV Cache 管理、連續批處理 (Continuous Batching)、投機解碼 (Speculative Decoding) 等一套極其複雜的「循環系統」。
• 推理成為主戰場: 訓練是造車，推理是上路。前沿模型（Reasoning / Agentic）一次呼叫動輒消耗上萬 Token，如果推理成本降不下來，商業模式就會崩潰。
• 軟體優化的巨大槓桿: 相同的硬體，好壞 Infra 的差距被無限放大。vLLM 引入 OS 分頁思想 (PagedAttention) 使吞吐量翻倍；結合 MTP 等優化，硬體吞吐量甚至能差 14 倍；Benchmark 顯示不同 Provider 的速度差距達 105 倍。
• 算力鎖定戰: Anthropic 與 AWS/Google 簽訂十年百億美金合約。因為算力建設週期長（機房、電力、液冷），頂級 AI 公司必須提前「鎖算力」。
• 新雲 (Neoclouds) 的崛起: AWS/Azure 是通用雲。Neoclouds 則是純為大規模 GPU 集群、高密度液冷設計的 AI Compute Utility。連微軟和 Meta 都砸百億美金向 IREN, Nebius 等新雲買算力。
• Nebius 收購 Eigen AI 的意義: 新雲的競爭進入第三階段：比拼「推理效率」。收購優化公司是為了把 GPU 加上 Kernel Fusion、記憶體管理打包成 Production AI Platform。利潤池來自於「同樣的硬體榨出更多的 Token」。

ROUND 2: DISSECTION | 血肉解剖

“憑什麼這麼說”

核心論證鏈

1. 軟硬體解耦與再融合 (Hardware-Software Co-design): 過去買雲端服務，CPU 是標準品。但在 AI 時代，GPU 只提供理論峰值 FLOPS，實際的 MFU (Model FLOPs Utilization) 完全取決於軟體層的調度。作者引用 SemiAnalysis 的數據（B300 跑 DeepSeek R1 軟體優化帶來 14 倍吞吐提升）強而有力地證明了 Infra 不只是工程問題，而是財務問題（影響 IRR）。
2. 新雲的破局點: 傳統雲為了照顧 Web 服務、資料庫等繁雜業務，架構上無法做到極致的 AI 網路拓樸（如全量 IB 網路）。新雲放棄了通用性，專注於「AI 算力的高效交付」，這成為了它們在巨頭夾擊下切出一塊高利潤市場的根本原因。

關鍵證據

• Deloitte 預測 2026 年推理工作負載將佔 2/3。
• Artificial Analysis 評測顯示，跑開源 120B 模型，最快與最慢的提供商速度相差高達 105 倍。
• Anthropic 鎖定 AWS 5GW 電力與千億合約；微軟向 IREN 下單 97 億美元；Meta 向 Nebius 下單 270 億美元。

邊界條件

• 摩爾定律與硬體演進: 作者強調軟體層推理優化的價值。但如果未來硬體架構發生根本性突變（例如 SRAM 成本驟降、存算一體晶片成熟），導致 Memory Wall (記憶體牆) 被物理性打破，那麼當前依賴複雜 PagedAttention 換取頻寬的軟體護城河可能會被削弱。

ROUND 3: SOUL | 靈魂提取

“還能怎么用”

• 知識連結: 呼應了上一篇《優化 7 個 Token 消耗陷阱》中提到的「成本飆升」。用戶端在想辦法減少 Token 開銷，而雲端供應商在想辦法降低 Token 生產成本。這揭示了 2026 年 Agentic Workflow 全面普及後，雙方都在對抗「Token 暴漲」這個終極物理限制。
• 深層洞見: “模型決定智能的高度，Infra 决定智能的可达性。” (Model sets the ceiling of intelligence, Infra sets the reachability). 這句話極具哲理。強大的模型如果每秒只能吐 2 個 Token，它永遠無法驅動即時的對話或複雜的 Agent 思考鏈。真正的普及，是發生在邊際成本趨近於零的時候。
• 行動呼籲: 如果你在評估企業的 AI 供應商，請停止只看模型的「參數大小」或「基準測試分數」。去查他們的首字節延遲 (TTFT)、生成吞吐量 (Token/s/GPU) 以及並發承載力。這才是決定你應用程式生死的使用者體驗核心。