/verbalized-sampling: 賦予 AI 代理創造力 (XRay Analysis)

原始來源與檔名：2026-06-10T093314+0800-verbalized-sampling give your AI agent creativity.md

NAPKIN | 餐巾纸

餐巾纸公式

創新點子 = ArgMin(P(Idea|Context)) ∩ Feasible(Idea)

尋找在當前上下文中生成機率最低（最罕見），但仍具備邏輯可行性的解空間。

一句话

別要求模型給出更多點子，要求它給出點子的機率分佈，並從低機率的尾部提取罕見但合理的靈感。

餐巾纸草图

  [Typicality Bias]
  P(x)
   |    *
   |   ***       <-- LLM Default (Regenerate / Temp up)
   |  *****          "Give me 5 ideas" (同質性聚落)
   | *******
   +-------------------------------------> Ideas
                 *** <-- Verbalized Sampling
                         "Sample from the tails (p<0.05)"

ROUND 1: SKELETON | 骨架扫描

“这本书在说什么”

核心问题: 為什麼 LLM 在腦力激盪時給出的多個點子，通常只是同一個高機率點子的不同措辭（典型性偏誤）？該如何解決？
核心答案: 使用「口語化取樣 (Verbalized Sampling)」，要求模型計算點子機率分佈，並從機率極低的尾部提取點子，強制跳脫同質性陷阱。
论证结构: 對比與解方型

章节骨架

痛點現象: 典型性偏誤導致點子同質
核心解法: 透過分佈預測與尾部取樣
對比反證: 溫度與重生成為何無效
實踐陷阱: 主題過擬合與上下文匱乏
高階應用: 結合問題拆解與工作流

ROUND 2: DISSECTION | 血肉解剖

“凭什么这么说”

论证链

LLM 被訓練為輸出最高機率的補全 --> 直接要求多個點子會得到同一引力井內的變體 (典型性偏誤) --> 傳統的調高溫度或角色扮演只能改變措辭與風格 --> 強制模型先推論自身的機率分佈並從尾部取樣 --> 產生類別上的多樣性而非邊際收益

关键证据

在相同的 naive prompt 下，Claude 給出的產品點子只是同一個想法的微調與重新包裝。
使用 verbalized sampling 後，論文實證在創意寫作與構思任務上的輸出多樣性提高了 1.6 到 2.1 倍。
模型在被要求評估機率並遵循 p<0.05 條件時，其推理過程本身撬開了高機率叢集。

隐形假设与边界

隐形假设:
- 模型具備評估與推論自身生成機率分佈 (Reasoning about its own distribution) 的能力。
- 機率分佈尾部 (低機率區) 的點子包含有價值的創新，而非單純的隨機亂碼或無邏輯內容。
边界条件:
- 探討過度主流的話題 (如減肥、生產力) 時，機率尾部依然落在同質聚落內，導致技術失效。
- Prompt 缺乏具體的上下文約束 (Context starvation)，導致低機率區生成空泛無用的廢話。

ROUND 3: SOUL | 灵魂提取

“还能怎么用”

作者盲点: 未深入探討強制提取尾部機率時，是否會顯著增加模型產生「幻覺 (Hallucination)」或生成完全不可行方案的風險，以及如何透過驗證機制過濾。
知识连接: 這種刻意避開高機率局部最佳解的策略，與許多領域的探索機制高度一致。
行动触发: 下次腦力激盪時，不要用「請給我 5 個點子」。改用：「請列出解決此問題的 10 種可能方案及其被想到的機率，然後選出 3 個機率低於 5% 但邏輯上可行的方案詳細說明。」

跨域映射

在 統計學，這叫 長尾分佈取樣 (Long-tail Sampling)
在 優化演算法，這叫 模擬退火中的探索機制 (Exploration vs Exploitation)
在 創新管理，這叫 水平思考 (Lateral Thinking)

STRUCTURE MAP | 全书结构图

      [Problem] Typicality Bias (典型性偏誤)
             |
             +---> "Give me 5 ideas" --> Same Idea x 5 (Wording change)
             +---> Higher Temp       --> Same Idea x 5 (Token change)
             +---> Persona Swap      --> Same Idea x 5 (Style change)
             |
     [Solution] Verbalized Sampling (口語化取樣)
             |
             +---> Ask for Distribution (要求機率分佈)
             +---> Sample from Tails (從尾部 p<0.05 取樣)
             |
      [Gotchas] Failure Modes (失敗模式)
             |
             +---> Overfit Topic     --> Fix: Exclusion Constraints (排他性約束)
             +---> Context Starvation--> Fix: Load Specific Context (載入具體脈絡)
             |
      [Outcome] 1.6x - 2.1x Diversity Increase (多樣性提升)

/verbalized-sampling: 賦予 AI 代理創造力 (Architectural Deep Dive)

前言/背景

產品經理或系統設計師在使用 LLM 進行腦力激盪時，常遭遇「典型性偏誤 (Typicality Bias)」的瓶頸：要求提供 5 個不同的解法，卻往往只得到同一個高機率解法的 5 種不同換句話說。本文探討一種源自 2025 年論文的無訓練提示工程技術「Verbalized Sampling (口語化取樣)」，透過強制模型推論自身的機率分佈，並刻意從機率極低的尾部進行取樣，從根本上解決了 LLM 輸出同質化的問題。

章節詳細總結

1. 典型性偏誤與 Verbalized Sampling 原理

作者指出，當使用者要求 Claude 或 ChatGPT 提供多個想法時，模型本質上只是在執行其訓練目標：輸出最高機率的補全 (show the highest-probability completion)。這導致所有的輸出都被吸入答案空間中的同一個「引力井 (Gravity well)」，你得到的不是多個想法，而是同一個高機率想法的多次重新排列。

運作原理：Verbalized Sampling 是一種免訓練的技術，核心在於改變取樣目標。

與其要求模型直接給出項目，不如要求模型輸出一個分佈 (distribution)。
強制模型為每個潛在輸出分配一個發生機率。
指示模型從分佈的「尾部 (tails)」——也就是低機率、不尋常的區域進行取樣。論文實證指出，這種做法在創意和構思任務上能將輸出多樣性提高 1.6 到 2.1 倍，這是一個類別上的改變，而非單純的邊際收益。

2. 傳統替代方案的架構缺陷

在架構設計上，我們必須理解為什麼常見的 Hack 手法無法解決同質性問題：

調高溫度參數 (Crank up the temperature)：較高的溫度僅僅是在每個 token 的生成步驟中引入隨機性，這只會改變「用詞 (wording)」，並不會改變「解決方案空間 (solution space)」。
重複生成 (Regenerate 5 times)：重複生成只是從同一個機率分佈的「頭部 (head)」進行 5 次獨立取樣，模型沒有收到離開該機率鄰域的任何外部訊號。
角色扮演切換 (Persona-swap)：要求模型扮演 5 種不同專家，主要產生的是「風格上的變異 (stylistic variation)」。結構與本質上的多樣性，並不等同於用不同的口吻講述同一個點子。 架構理由 (Why)：Verbalized Sampling 之所以能擊敗這些方法，是因為它強制模型去推論自己的機率分佈 (reason about its own distribution)，這個推論與評估的過程本身，就撬開了緊密聚集的高機率叢集。

3. 系統整合時的邊界條件與失敗模式 (Gotchas)

在將此技術整合進系統流程或 Agent 工作流時，需要注意兩個核心的邊界條件：

過度擬合的主題引力 (Overfit-topic gravity)：如果討論的主題（如減肥、生產力駭客）在模型的訓練資料庫中出現過上千萬次，即便是機率尾部 (例如 p<0.01) 也依然落在主流叢集的引力範圍內。
- 解法：必須加入排他性約束 (Exclusion constraint，例如「排除主流健康雜誌會出現的點子」)，或設定更具體的冷門框架。
上下文匱乏 (Context starvation)：如果提示詞極度單薄（例如「給我更多留存率的想法」），即便從尾部取樣，模型也只會生成空泛的通用答案。
- 解法：在取樣前必須預載上下文 (Load context before you sample)。具體說明當前的約束條件、期望涵蓋的子問題、以及「系統已經嘗試過的方法」。提示詞的質量取決於上游問題框架的定義能力。

總結與結論

思維典範轉移：突破 LLM 同質性的關鍵不在於增加隨機性 (Temperature)，而在於改變目標函數——強制模型具象化其內部的機率評估，並向低機率區域進行確定性的搜索。
上游問題拆解為王：Verbalized Sampling 的成功高度依賴於精確的上下文預載。架構師或 PM 必須先能明確定義出「需要多樣性的解決方案維度」，模型才能據此在尾部生成有價值的內容。
系統化封裝的必要性：複雜的 Prompt（包含分佈要求、機率閾值設定、排他性約束）難以靠人類記憶每次手動輸入。最佳實踐是將這類進階取樣技術封裝成系統工作流 (如 AI Agent 的內建 Skill)，在需要發散思維的節點自動觸發。