NVIDIA and OpenAI’s Lack of Innovation Is Killing AI(NVIDIA 與 OpenAI 的創新匱乏正在扼殺 AI)

Figures, animations, diagrams, and plots were created by the author using Stable Diffusion, Blender, and Python libraries.

原始來源與檔名:2026-07-17T101045+0800-NVIDIA and OpenAI’s Lack of Innovation Is Killing AI.md


SOURCE | 資訊源評估

NAPKIN | 餐巾紙

餐巾紙公式

現代 AI = GPU(矩陣乘法)+ 反向傳傳播(誤差修正)+ dense vector(凍結座標)= 暴力算術,非認知 真正突破 = 脈衝神經元(LIF,有時空狀態)+ 彎曲幾何(hyperbolic,有曲率)= 稀疏、事件驅動、節能的智慧 作者主張:領先公司把「算術加速」誤當「認知」,把「補丁式演進」(backprop 是 XOR 的補丁)誤當「理論突破」,真正出路在拋棄 flat 統計與假神經元。

一句話

NVIDIA 的 GPU 只是極快的矩陣乘法器、OpenAI 的反向傳播只是工業級誤差修正——這個時代的「奇蹟」靠暴力算力撐起來,而真正更有效率的神經形態架構(懂空間與時間的脈衝神經元)早已可行,只是沒人砸錢組裝。

餐巾紙草圖

┌── 現代 AI(左) ──── vs ──── 神經形態 AI(右)

│  GPU 矩陣乘法.暴力並行         脈衝驅動.有事件才算
│  恆定高耗能                      Loihi 2:省電達 250×
│  假神經元 = w·x+b               真神經元 = LIF
│   ↳ 無時間/無記憶               ↳ 累積→洩漏→閾值→發火
│  dense vector(凍結座標)        spikes(時空中的動態過程)

▼  結論:錢押在矩陣與 dense vector,突破卻在「懂時空的神經元」
└──

ROUND 1: SKELETON | 骨架掃描

章節骨架(條列)

  1. The current situation of NVIDIA and OpenAI — NVIDIA 的 Janus 雙面:行銷舞台(GPU=認知引擎)vs 後台(GPU=矩陣乘法算術);CUDA 自 2006 起世界觀未變。
  2. The Case of OpenAI — 整個產業建立在 ANN+反向傳播上;從 Minsky/Papert 的 XOR 限制、1986 Rumelhart/Hinton/Williams 的反向傳播、兩次 AI 寒冬,到「奇蹟=誤差修正的工業化重複」的黑箱本質。
  3. Is There a Cure? — 歐氏向量不適合層級/關係結構,數學早有雙曲/球面/Riemannian/混合曲率空間;真正的解方是換掉 transformer 的玩具神經元,改用 LIF 脈衝神經元(含時間、記憶、內部時鐘)。
  4. The Future Belongs to a Neuron That Knows Space and Time — dense vector 是「意義的攝影」、spike 是「意義的運動」;transformer 有順序無時鐘,脈衝系統在意義中流動。
  5. The First Cracks in the Wall — Google(hyperbolic/球面/圖表徵)、Anthropic(特徵隔離與電路追蹤)、神經形態實驗室(時序基底)三道裂縫;缺的是願意組裝它們的人。

ROUND 2: DISSECTION | 血肉解剖

論證鏈(ASCII)

┌── 全文論證鏈

│  GPU = 矩陣乘法(算術)── 本質上不等於認知
│     │
│     ▼
│  CUDA(2006) = 把算術切成更多並行(grid/block/thread)
│     ↳ 20 年地質時代,世界觀幾乎沒變:更多平行 + 跑更快
│     │
│     ▼
│  ANN + 反向傳播(1986) = XOR 的補丁 → 黑箱式誤差修正
│     ├─ Minsky/Papert:單層感知機表達不了 XOR
│     └─ Rumelhart/Hinton/Williams:加隱藏層 + 鏈鎖律反向求梯度
│     │
│     ▼
│  「奇蹟」= 處理器變快+資料變大→舊方法帳單暫時付得起(非新理論)
│     │
│     ▼
│  瓶頸顯現:backprop 擴展性極差 + 假神經元(無時間/無記憶)
│     │
│     ├─→ 解方 A:彎曲幾何(hyperbolic/球面/Riemannian/混合曲率)→ 給「where」
│     └─→ 解方 B:LIF 脈衝神經元(累積/洩漏/閾值/發火)→ 給「when」
│     │
│     ▼
│  三道裂縫:Google(幾何) + Anthropic(黑箱解剖) + 神經形態(時序基底)
│     │
│     ▼
│  終局:表徵在彎曲空間 + 真實時間中演化 → 終結這個時代的機器
└──

3 個關鍵證據

  1. Intel Loihi 2 省 250 倍電(2025 keyword-recognition benchmark):在幾乎無損精度的前提下,Loihi 2 相比 NVIDIA Jetson Orin Nano 能耗低達 250 倍。原因是結構性的——GPU 密集計算(恆定耗能),神經形態硬體僅在 spike 抵達時反應(事件驅動、稀疏)。這不是邊際最佳化,而是「硬體圍繞神經元設計」vs「把神經元硬塞進為遊戲設計的晶片」的根本差距。
  2. Beniaguev、Segev、London:單一神經元 ≈ 5–8 層深網:要重現單一皮質錐狀神經元(cortical pyramidal neuron)毫秒級的輸入輸出行為,需要約 5–8 層深的人工網路。一個生物神經元本身就表現得像一個小深度網路——這不是「一個脈衝神經元等於一千個人工神經元」的普遍等價,但足以揭露「假神經元」簡化的規模。
  3. Rall 3/2 次方法則:在被動(passive)條件下,整棵分支樹突可精確塌縮成單一等效柱體(可程式、可跑程式碼);但一旦主動離子通道進入分支,塌縮崩潰,樹突變成分散式非線性計算機。這證明建模這類神經元「從來不是可行性問題」——業界只是選了更簡單、卻遠更昂貴的那個神經元。

隱形假設與邊界

ROUND 3: SOUL | 靈魂提取

留白提問(2 題)

  1. 若 GPU 的矩陣乘法「只是算術」,那為什麼在算術上做反向傳播能產生湧現能力(in-context learning、chain-of-thought)?是算術本身逼近了認知的極限,還是我們對「認知」的定義太窄、以至於把湧現誤判為奇蹟?
  2. 脈衝神經元要取代 dense vector,最大的工程障礙是「無法大規模可微訓練」,還是「沒有專屬算子/編譯器/生態」?若兩者都解決,主流資本會多快轉向——還是 NVIDIA 會先把脈衝算子收編進 CUDA?

跨域映射

DEEP READ | 精讀指引

STRUCTURE MAP | 全文結構圖(ASCII)

┌── 全文論證地圖

│  [破題] 標題挑釁:領先者不是在建造未來,而是在阻擋未來
│     │
│     ▼
│  [NVIDIA] Janus 雙面
│     ├─ 行銷面:GPU = 認知/推理/AGI 引擎
│     └─ 後台面:GPU = 矩陣乘法算術 + CUDA(2006) 並行世界觀
│     │
│     ▼
│  [OpenAI] ANN + 反向傳播(1986)
│     ├─ 歷史:Minsky XOR → backprop 補丁 → 兩次 AI 寒冬
│     └─ 本質:黑箱 + 誤差修正工業化(非新理論,算力變便宜)
│     │
│     ▼
│  [瓶頸] backprop 擴展性差 + 假神經元(無時空狀態)
│     │
│     ├─→ [解方 A] 彎曲幾何:hyperbolic/球面/Riemannian → where
│     └─→ [解方 B] LIF 脈衝神經元:累積/洩漏/閾值/發火 → when
│     │
│     ▼
│  [對比] dense vector(凍結座標)vs spikes(時空動態)
│     ├─ 證據:Beniaguev 一個神經元 ≈ 5–8 層深網
│     ├─ 證據:Rall 3/2 法則(可程式)+ 離子通道(非線性)
│     └─ 證據:Loihi 2 省 250× 電
│     │
│     ▼
│  [裂縫] Google(幾何) + Anthropic(可解釋) + 神經形態(時序)
│     │
│     ▼
│  [終局] 表徵在彎曲空間 + 真實時間中演化 → 終結這個時代
└──

NVIDIA and OpenAI’s Lack of Innovation Is Killing AI(架構師深度解剖)

前言/背景

作者 Jose Crespo(PhD)以高度挑釁的標題切入:在 NVIDIA 市值數兆、OpenAI 盤據頭條、Jensen Huang 被當成科技先知、Sam Altman 被譽為「智慧的 Steve Jobs」的時代,這些「最創新」的公司可能不是在建造未來,而是在阻擋未來。本文的核心命題是:下一個突破不需要更大的模型、新一代 GPU、或再多一兆個參數,而需要拋棄 NVIDIA 與 OpenAI 已變成教條的地基——flat 統計、假神經元、暴力計算。作者主張,一條更好的路(神經形態計算)早已存在,但 AI 必須先逃離讓今日巨頭致富、同時讓技術危險地脆弱的架構。

NVIDIA 與 OpenAI 的現狀(The current situation of NVIDIA and OpenAI)

NVIDIA 的 Janus 雙面:行銷的認知引擎 vs 後台的算術機

NVIDIA 有兩張臉。第一張是行銷的臉——Jensen Huang 每次抱著新一代 GPU 走上舞台所講的勝利故事。

Strip Away the Stage Lights Onstage, the GPU is sold as the engine of cognition, reasoning, and the road to AGI. Backstage, the silicon is doing something far less mysterious: adding and multiplying numbers across enormous matrices at extraordinary speed. That is remarkable engineering, but arithmetic acceleration is not cognition. The chip supplies the force behind modern AI, not the intelligence itself. Strip away the marketing, and the miracle is still mathematics.

第二張臉在後台,現實遠沒有那麼光鮮。一個尖銳的問題浮現:為什麼原本用來渲染圖形、跑電動遊戲的硬體,如今坐鎮於所謂 AI 革命的中心?事實上,到 2014 年為止,高階 GeForce 顯卡的需求仍驅動著 NVIDIA 大半 GPU 營收——遊戲不是副業,而是主業。

一旦剝掉舞台光環,「奇蹟」就簡單得多:GPU 不過是一台極快的、把龐大矩陣裡的數字相乘相加的機器。一台 glorified 數學輔助處理器——算術上殘暴地有效率,卻完全找不到 NVIDIA 舞台上所歌頌的那種智慧痕跡。

# GPU 的本質:矩陣乘法(GEMM)的暴力並行加速器
C = A · B   # A: M×K, B: K×N, C: M×N —— 大量浮點乘加
# 算術加速 ≠ 認知;算力是現代 AI 的「力」,不是「智」本身

CUDA:二十年未變的並行世界觀

那麼真正的秘密是不是 CUDA?CUDA 是 2006 年推出的軟體平台,過去二十年累積了新函式庫、工具、記憶體系統、語言特性與 AI 專屬最佳化,但底層計算世界觀幾乎沒變。它的革命性當年在於:啟動數千條 thread、把工作切成 block 與 grid、讓 GPU 一次處理海量數字。

# CUDA(2006 至今):把數值問題切片成更多平行 operation
# grid → block → thread,GPU 一次吞吐海量數字
kernel<<<grid, block>>>(args);   // 核心仍是矩陣乘法 GEMM
# 核心世界觀 20 年不變:更多平行 + 跑更快 —— 這就是全部招數

二十年,在科技業是地質時代,CUDA 仍建立在同一個念头上:把數值問題切成更多平行操作、跑得更快。這是一台傑出的加速計算引擎,但從算術到認知之間,仍沒有橋

OpenAI 的案例(The Case of OpenAI)

NVIDIA 供應引擎,不供應認知。那麼 OpenAI 呢?OpenAI 與幾乎整個產業一樣,建立在舊地基上:人工神經網路(ANN),擴展成深度架構,透過反向傳播(backpropagation)這個修正機制訓練

反向傳播的補丁史:從 XOR 到黑箱

故事回溯到 Minsky 與 Papert,他們揭露了早期單層感知機的嚴重限制:連 XOR 這種簡單非線性關係都表達不出來。他們證明的不是「所有神經網路都解不了 XOR」,而是「一個 flat 層不夠」。

# 單層感知機表達不了 XOR(Minsky & Papert)
y = step(w·x + b)          # 線性超平面無法分割 XOR 的異或類別
# 解法(1986, Rumelhart/Hinton/Williams):加隱藏層 + 反向傳播
∂L/∂w = ∂L/∂y · ∂y/∂w      # 鏈鎖律逐層回推梯度 → SGD 更新數十億參數
# 反向傳播是 XOR 問題的「補丁」,不是全新的智慧理論

約 1986 年,Rumelhart、Hinton、Williams 將反向傳播推廣為訓練含隱藏層網路的實用方法。它解決了 XOR,卻沒解決更深層的問題——只是把它推得更遠。接下來是一台胃口更大的機器:更多層、更多資料、更長訓練、更多計算。多年來這些系統難以擴展到有限問題之外,因為計算帳單實在太高

關鍵證據:Loihi 2 省 250 倍電

When the Hardware Finally Fits the Neuron In a 2025 keyword-recognition benchmark, Intel’s Loihi 2 used up to 250 times less energy than an NVIDIA Jetson Orin Nano, with almost no loss in accuracy. The reason is structural: the GPU computes densely, while neuromorphic hardware reacts only when spikes arrive. This is not a marginal optimization. It is what happens when the hardware is finally built around the neuron instead of forcing the neuron onto hardware built for something else.

這並未造成第二次 AI 寒冬,但確實把神經網路推回陰影。第一次撤退跟隨 Minsky/Papert 對感知機的猛烈揭穿;第二次則在 expert systems 因自身承諾的重量崩潰、資金撤離後到來。然後處理器變快、資料集變得巨大、原本付不起的帳單暫時付得起了——這就是突破。不是新的智慧理論,不是根本上更有效率的架構,只是足夠便宜的計算,復活了一個從一開始就胃口明顯的方法。

# 2025 keyword-recognition benchmark
# Intel Loihi 2  vs  NVIDIA Jetson Orin Nano
# 能耗比:Loihi 2 省~250×,精度幾乎無損
# GPU:密集計算(恆定耗能)
# Neuromorphic:僅在 spike 抵達時計算(事件驅動、稀疏)

黑箱本質:誤差修正的工業化重複

你可以稱之為數學家的噩夢:幾乎沒有透明度、沒有結構優雅、也無法保證機器會發現接近最乾淨或最有效率的解。我們不是在設計智慧,而是在建造一個巨大的黑箱,灌入資料,測量它錯得多離譜,然後反覆調整數十億個參數,直到有用的東西終於爬出來。 而這就是產業所稱的奇蹟:不是理解、不是優雅、不是設計,而是工業級規模重複的誤差修正。這個過程產出的機器仍然高度不透明——一個吞噬巨量能量與計算的怪物級黑箱,而一個更透明、結構化設計的神經系統可能根本不需要這些。

One of the Culprits Behind AI’s Current Bottleneck The old backpropagation algorithm, introduced in 1986, is still the workhorse of the entire AI industry. It was born as a response to the XOR problem exposed by Minsky. The solution arrived years later: add more layers and use a backward algorithm to correct the errors, making both the architecture and the training process more complex. The main flaw of this model is that it scales very poorly. It was never designed for the enormous applications

而更好的替代方案,早已不是科幻。

是否有解?(Is There a Cure?)

Cure(解藥)也許太重。但確實有出路。

彎曲幾何:給智慧正確的「where」

意義天生不像 flat 空間中一組孤立點。語言包含層級、關係、語境轉換,以及意義隨周遭環境彎曲的概念。然而今日的 transformer 仍在歐氏向量空間中執行基本運算。數學早已提供整族更適合層級與關係結構的彎曲空間:雙曲(hyperbolic)、球面(spherical)、Riemannian、混合曲率幾何。近期甚至已開始打造基本運算直接在雙曲空間中進行的大型語言模型。

但幾何只是問題的一半。更難的問題是:如何讓一個神經系統真正在這樣的空間裡活著、移動、計算。

LIF 脈衝神經元:給智慧缺失的「when」

一個可能的答案,是拋棄 transformer 的玩具神經元,換上更接近真實計算程序的東西:leaky integrate-and-fire(LIF)神經元——隨時間累積資訊、洩漏、跨過閾值、發火。它不只是一個數字,而是帶著一個演化的狀態、一份對先前輸入的記憶、以及自己的內部時鐘。

# LIF(Leaky Integrate-and-Fire)脈衝神經元
# 膜電位隨時間演化:累積 → 洩漏 → 跨閾 → 發火 → 重置
τ_m · dV/dt = -(V - V_rest) + R_m · I(t)
if V >= V_th:
    fire spike          # 發出脈衝
    V = V_reset         # 重置膜電位
# 與假神經元的根本差異:V 是 evolving state,帶有內部時鐘與記憶

這個差異不是表面的。Beniaguev、Segev、London 發現,重現單一詳細皮質錐狀神經元毫秒級的行為,需要一個約 5–8 層深的人工網路。一個生物神經元本身就能表現得像一個小深度網路。

這不代表一個脈衝神經元普遍地等於一千個人工神經元,比較比這更細緻——但它戳破了隱喻:驅動現代 AI 的「神經元」不是微縮的大腦,而是穿著生物名稱的簡單數值函式

AI Kept the Name and Threw Away the Neuron On the left is the “neuron” inside today’s large AI models: multiply the inputs by weights, add them together, apply an activation function, and output a number. No intrinsic time, no memory, no internal dynamics. On the right is a neurocomputational neuron: a branching system that integrates signals across space and time, lets them rise and decay, and fires only when its evolving state crosses a threshold. It does not merely calculate a number. It run

Rall 3/2 法則:可程式,且瓶頸不在可行性

你可能會反對:漂亮歸漂亮,但這種神經元真的能在電腦上程式化、跑起來嗎?還是我們在漂向生物硬體與科幻?完全不。 你可以在普通筆記型電腦上程式化並跑一個脈衝神經元;簡單的展示既不需要生物硬體,也不需要奇異機器,甚至不需要 GPU。

How a Whole Dendritic Tree Becomes One Cable Under Rall’s 3/2 power rule, a passive branching dendrite can collapse exactly into one equivalent cylinder with the same electrical behavior as seen from the soma. That elegant reduction is already expressible in mathematics and runnable in code. But once active ion channels enter the branches, the collapse breaks: the dendrite becomes a distributed nonlinear computer. The obstacle was never feasibility. The industry simply chose the easier neuron,

第二段動畫更具體地說明:在 Rall 的 3/2 次方法則下,一棵被動分支樹突可精確塌縮成單一等效柱體,具有與從 soma 觀察相同的電纜行為——這在普通電腦上已可程式。

# Rall 3/2 次方法則:被動分支樹突塌縮成單一等效柱體
Σ d_i^(3/2) = d_parent^(3/2)     # 子分支直徑的 3/2 次方和 = 母柱體
# 條件:被動(passive)+ 滿足特定幾何比
# 一旦主動離子通道進入分支 → 塌縮崩潰,樹突變分散式非線性計算機

但一旦主動離子通道進入分支,這個俐落的塌縮就崩潰:樹突不再像簡單電纜,而本身成為一台分散式非線性計算機

這才是動畫真正的啟示:我們不需要生物組織或科幻硬體就能建模這些神經元。我們早已知道如何用數學與程式碼表達它們的結構、動態與簡化。障礙不在可行性——而在於業界選了更簡單的神經元,即便它後來成了遠更昂貴的那一個。

未來屬於懂空間與時間的神經元(The Future Belongs to a Neuron That Knows Space and Time)

前面所有論證收斂到一個問題:資訊在機器裡變成了什麼?

在傳統 AI 系統中,一個詞、一張圖、一段聲音變成一個 dense vector——一長串數字,把它定位在高維空間裡。這個向量隨著在網路中移動、吸收語境而改變,但它始終是一個向量

# Transformer:資訊 = dense vector(凍結座標),時間從外部供給
embedding = [0.12, -0.55, 0.91, ...]   # 高維歐氏空間中的座標
# positional encoding / causal mask 從外部「栓上」順序
# → 有順序(order),但無時鐘(clock)

Transformer 透過 positional encoding、causal mask 等機制保留序列,但這些機制恰恰暴露了限制:時間是從外部供給的。transformer 的基本計算單元不會隨事件展開而累積、洩漏、發火、休息或演化。簡言之,transformer 有順序,但沒有時鐘。

而神經計算神經元不同:資訊以分佈在空間與時間中的脈衝到達,可由 firing rate、精確時序、間隔、整群神經元的 synchrony 來承載。它不只是一個座標——它執行一個程序,與給我們「意義的攝影」的現代 AI 是完全不同的野獸。

# 神經形態:資訊 = spikes 分佈於時空
# 可由 firing rate、precise timing、間隔、synchrony 承載
spike_train = [t1, t2, t3, ...]   # 事件序列;意義在運動中
# 「一個計算一瞬間然後靜止;另一個活過時間。」

One Is a Photograph of Meaning The same two words, “FEED ME,” given to two different machines. On the left, today’s AI collapses them into static vectors: meaning as frozen coordinates, with order bolted on from outside. On the right, a neurocomputational system lets them unfold as spikes across space and time, where rate, timing, and synchrony can all carry information. One computes in an instant and then sits still. The other lives through time. One is a photograph of meaning. The other is me

未來可能屬於另一種神經元——帶著變化的內部狀態、能隨時間整合事件、在真正有事發生前保持沉默。與其把資訊降維成凍結座標,它會把資訊帶成在空間與時間中展開的模式。我們知道業界最大筆的押注還不在這裡——錢仍流向 dense vector、矩陣乘法、讓現行體系如此賺錢的人工神經元。但主流之外,脈衝語言模型已在測試,神經形態處理器正在進步。 下一次真正的突破,可能來自一台不持續計算的機器,而來自一台知道何時才需要計算的機器。

牆上的第一道裂縫(The First Cracks in the Wall)

仍有理由懷抱希望。Google 研究員已探索 hyperbolic、球面、與圖基底的表徵,不再把每個結構硬塞進同一個歐氏盒子。Gemini 還沒逃離 transformer,但這份工作揭示了教條中的一道重要裂縫:意義可能需要曲率、拓樸、以及為資訊本身量身打造的幾何

Anthropic 則從內部攻擊黑箱——隔離可辨識的特徵、追蹤概念流動的電路。它還沒在建造新神經元,但它在問一個產業太常迴避的問題:機器裡到底發生了什麼?

下一次突破,可能就在這幾條路徑交會時降臨。幾何能給智慧正確的 where;神經形態計算能給它缺失的 when。兩者結合,產出的將不只是更大的 transformer,而是一台表徵在彎曲空間與真實時間中演化的機器。

還沒人造出它。但零件正在浮現:Google 有部分幾何;Anthropic 在揭開隱藏的機械結構;神經形態實驗室在打造時序基底。缺的,只是願意把它們組裝起來的人。

NVIDIA 與 OpenAI 建造了定義這個時代的機器。終結這個時代的那台機器,可能在他處建造。

總結與結論

  1. GPU 的本質是算術,不是認知:NVIDIA 的 GPU 是極快的矩陣乘法器,CUDA 自 2006 起的世界觀(grid/block/thread 並行)二十年未變——它是現代 AI 的「力」,不是「智」本身;行銷舞台與後台矽晶之間的落差,是本文破題的第一刀。
  2. 反向傳播是 XOR 的補丁,不是智慧理論:從 Minsky/Papert 揭穿單層感知機、1986 Rumelhart/Hinton/Williams 推廣反向傳播、到兩次 AI 寒冬,現代 AI 的「奇蹟」並非新理論,而是處理器變快、資料變大後,舊方法的帳單暫時付得起——本質是工業級規模重複的誤差修正黑箱。
  3. 解方是「空間+時間」的雙重回歸:彎曲幾何(hyperbolic/球面/Riemannian/混合曲率)給智慧正確的 where;LIF 脈衝神經元(累積/洩漏/閾值/發火,帶內部時鐘與記憶)給它缺失的 when。Rall 3/2 法則證明這類建模早已可程式,瓶頸從來不是可行性。
  4. dense vector 是「意義的攝影」,spike 是「意義的運動」:transformer 有順序(positional encoding/causal mask)但無時鐘——時間從外部供給;脈衝系統讓意義在時空中展開,由 firing rate、時序、間隔、synchrony 承載。Beniaguev 等人「單一錐狀神經元 ≈ 5–8 層深網」與 Loihi 2「省 250 倍電」是兩個最具殺傷力的反直覺證據。
  5. 三道裂縫已現,缺的是組裝者:Google(彎曲/圖表徵的幾何裂縫)、Anthropic(特徵隔離與電路追蹤的黑箱解剖)、神經形態實驗室(時序基底)三者各擁一片拼圖;下一次突破可能就在它們交會時——而終結這個時代的那台機器,可能由 NVIDIA/OpenAI 之外的人建造。