How LLMs Actually Work

原始來源與檔名：2026-06-09T093740+0800-How LLMs Actually Work.md

NAPKIN | 餐巾纸

餐巾纸公式

Tokenization + Embeddings + RoPE + Multi-head Attention + FFN + Residual Stream = Next-Token Prediction 現代大語言模型的核心架構建立在 Transformer 之上，透過將文字向量化、注入位置資訊、使用注意力機制理解上下文、透過前饋網路處理特徵，並最終在殘差流的加總下預測下一個字詞。

一句话

現代 LLM 並非具有意識的黑盒子，而是一個透過層層注意力與前饋網路，不斷重複預測「下一個 token」的數學運算引擎。

餐巾纸草图

[Token ID] ---> [Embedding Matrix] ---> [RoPE (旋轉位置)]
                                             |
                                             v
     +---------------------------------------+------------------+ (Residual Stream)
     |                                                          |
     v                                                          v
[Attention (QKV 混合上下文)] ---> [FFN (特徵與記憶提取)] ---> [LayerNorm & Softmax]
                                                                |
                                                                v
                                                       [Next Token Logits]

ROUND 1: SKELETON | 骨架掃描

“这本书在说什么”

核心问题: 現代基於 Transformer 的大語言模型（LLMs）底層運作機制是什麼？
核心答案: 從文字分詞（Tokenization）到下一個字詞預測（Next-token prediction）的完整線性數學流水線。
论证结构: 資料預處理 -> 位置與含義對齊 -> 資訊交流機制 -> 特徵轉換與記憶 -> 訓練穩定性 -> 最終輸出與世代迴圈

章节骨架

Tokenization & Embeddings: 將文字切分為子詞（Subwords）並對應為高維空間中的連續向量（幾何距離代表語義相似度）。
Positional Encoding (RoPE): 由於 Attention 沒有順序概念，利用旋轉位置嵌入（RoPE）將相對位置資訊注入向量。
Attention & Multi-head: 每個 token 產生 Q(Query), K(Key), V(Value)，計算點積決定關注權重；多頭平行處理語法、指代等多維度關聯。
Feed-forward Network (FFN): 每層獨立處理單一 token，利用非線性變換（如 SwiGLU）避免層次塌陷，也是模型「事實記憶」的儲存地。
Residual stream & Layer Norm: 殘差流讓資訊可以無損穿越深層網路，層歸一化（RMSNorm）確保數值範圍穩定。
Next-token prediction: 取出最後一個 token 的向量，轉換為 Vocabulary 大小的機率分佈，取樣後再將新 token 放回輸入端繼續。

ROUND 2: DISSECTION | 血肉解剖

“凭什么这么说”

论证链

文字轉換向量 --> 注意力機制混合上下文 --> FFN提取特徵與記憶 --> 殘差流穩定深層網路 --> 輸出機率預測下一個字

关键证据

king - man + woman ≈ queen 的幾何特性證明 Embedding 能捕捉語意。
Anthropic 發現的 Induction heads 證明注意力機制能夠處理上下文中的模式延續（In-context learning）。
ROME 等技術能透過修改特定 FFN 權重來直接改變模型的「知識」（如將巴黎改成羅馬）。

隐形假设与边界

隐形假设: 語言的規則與人類世界的知識，可以被無損壓縮進預測「下一個字詞」的機率分佈中；足夠的資料與算力能使推理能力湧現。
边界条件: Transformer 對長度敏感，Attention 計算複雜度隨長度平方增長（即使有 GQA 緩解），且受限於自回歸（Auto-regressive）機制，無法「回頭」修改已生成的 token。

ROUND 3: SOUL | 靈魂提取

“还能怎么用”

作者盲点: 文章偏向推論期（Inference）架構講解，對訓練期（Pre-training vs RLHF）的過程著墨較少。
知识连接: Word2Vec, ResNet (Residual blocks), MoE (Mixture of Experts), KV Cache。
行动触发: 在設計 Prompt 時，將重要資訊放前後（Lost in the middle 效應），並給予模型推理空間（Chain-of-thought，因為每個 token 的計算量固定，多產出 token 等於多思考）。

跨域映射

在 社會學網路分析，這叫 節點影響力計算與資訊擴散 (Information Diffusion)

How LLMs Actually Work (Architectural Deep Dive)

前言/背景

剝開現代大型語言模型（LLMs）的神秘面紗，深入解析 Transformer 架構如何將文本轉化為數學向量，並透過層層矩陣乘法與非線性轉換預測下一個字。

章節詳細總結

注意力機制與多頭並行 (Attention & Multi-head)

Attention 是 token 之間交換資訊的橋樑。每個 token 衍生出 Query (找什麼)、Key (提供什麼)、Value (傳遞什麼)。多頭注意力 (Multi-head Attention) 並非將向量切碎，而是投射到不同維度的子空間，讓不同的 Head 負責並行追蹤文法、指代關係或歸納模式 (Induction heads)。為減少推論期的記憶體消耗，現代模型多採用 GQA (Grouped-Query Attention)，讓多個 Query 共享同一組 Key/Value 緩存 (KV Cache)。

前饋神經網路與記憶儲存 (Feed-forward Network, FFN)

FFN 不進行 token 之間的互動，而是將單一 token 的向量展開並進行非線性轉換（如 SwiGLU）。研究表明，模型的大部分「事實記憶 (Knowledge)」儲存於 FFN 的權重矩陣中。這也催生了 MoE (Mixture of Experts) 架構，透過 Router 將 token 導向特定專家網路，實現參數規模擴大但不成比例增加推論運算成本的目標。

訓練穩定器：Residual Stream & RMSNorm

為了解決深層網路梯度消失的問題，Transformer 借鑒了 ResNet 的殘差連接 (Residual connections)，讓資訊能在網路中「加總」而非完全覆蓋。配合 RMSNorm (簡化版的層歸一化，省去均值平移)，確保連續矩陣乘法不會導致特徵值爆炸或歸零，使得疊加數十甚至上百層的 Transformer Block 成為可能。

總結與結論

LLM 的核心是一個精密的序列函數，其底層架構（Tokens, QKV Attention, FFN, Residuals）在過去五年已高度收斂。
模型的「事實與知識」主要存在於 FFN 的神經元矩陣中，而「推理邏輯與上下文關聯」則依賴 Attention 機制提取。
任何提示詞工程（Prompt Engineering）技巧的背後，本質都是在迎合 Attention 的權重分佈特性與 KV Cache 的讀取效率。