文章五：This embarrassingly simple secret explains all of AI.

來源：Nikhil Anand / AI Advances

這篇文章揭示了 AI 模型背後的數學本質：概率與最大似然估計 (Maximum Likelihood Estimation, MLE)。

章節詳細總結

• 馬力歐與神秘機器 (Meet Mario and his mystery machines) 故事設定：馬力歐遇到一台機器，按按鈕會吐出 Goomba (0) 或 1-Up 蘑菇 (1)。機器有一個內部參數 (p) 代表吐出 1-Up 的機率。 問題是：馬力歐不知道 (p) 是多少，他需要估算它。

• 挑戰：估算 p (The challenge: estimating p) 實驗：按了 8 次，結果序列為 {1, 0, 0, 1, 0, 0, 0, 0}。 直覺上，8 次中有 2 次是 1，所以 (p) 應該是 (1/4 (0.25))。但數學上如何證明？

• 似然函數 (Introducing the likelihood function) 如果假設參數為 (p)，那麼觀察到特定序列的「可能性 (Likelihood)」是多少？

  • 出現 1 的機率是 (p)。
  • 出現 0 的機率是 (1-p)。 似然函數 (L(\text{sequence} | p)) 就是將這些機率相乘。這告訴我們：在給定 (p) 值的情況下，我們觀察到這些數據的可能性有多大。

• 最大似然估計 (Maximum Likelihood Estimator, MLE) 為了找到最可能的 (p)，我們尋求能讓似然函數 (L(p)) 達到「最大值」的 (p)。 數學上，最大化 (L(p)) 等同於最大化 (\log(L(p)))。 這導出了神經網絡訓練中常用的 Categorical Cross-Entropy Loss。 對函數微分並設為 0，解出的結果顯示：最佳的 (p) 值就是觀測數據的「平均值」。這證明了馬力歐的直覺（2/8 = 0.25）在數學上是最佳解。

• 這與 AI 有何關係？ (Why does this matter in AI?) LLM (大型語言模型) 本質上是「輸入條件化 (Input-Conditioned)」的機器。 當你問 “Who is POTUS?”，模型會根據這個輸入產生一個分佈 (P(\text{output} | \text{input}))。 訓練 LLM 的過程，本質上就是在大規模數據上進行 MLE (最大似然估計)。

  • 範例：如果訓練資料中 “Who is POTUS?” 後面接 “Trump” 出現 2 次，接 “Obama” 出現 1 次，模型就會估算機率：Trump (0.66), Obama (0.33)。

架構師總結

這篇文章將複雜的 AI 黑盒子還原為基礎的統計學原理。核心結論是：AI 並沒有魔法，它只是在做大規模的機率分佈估算。我們使用的 Loss Function (損失函數) 正是為了最大化訓練數據出現的「似然性」。對於架構師而言，理解這一點有助於對 AI 模型的行為邊界有更清醒的認識——它是在擬合數據分佈，而非真正理解邏輯；它的「創造力」本質上是從概率分佈中進行採樣。