A Human-Augmenting Agentic Workflow for Causal Inference

原始來源與檔名：2026-06-09T094427+0800-A Human-Augmenting Agentic Workflow for Causal Inference.md

NAPKIN | 餐巾纸

餐巾纸公式

觀測因果推論 (OCI) + (Actor-Critic 代理架構) = 增強人類專家分析 在沒有「絕對真實 (Ground Truth)」的領域，AI 代理不應直接給出答案，而是生成可審查的過程、代碼與診斷報告，由人類進行最終把關。

一句话

Netflix 開源了一套用於觀測因果推論的代理工作流 (oci-agent)，利用 Actor-Critic 架構來執行複雜的資料分析與偏誤診斷，旨在減少專家的重複性勞動，同時確保分析過程的高度透明。

餐巾纸草图

[Principal (Human)]
      | (Analysis Plan & Data Context)
      v
[Actor (Agent)]
  - Executes strict notebook templates
  - Runs design diagnostics (Covariate balance, Overlap, etc.)
      |
      v
[Critic (Agent)]
  - Evaluates Actor's artifacts
  - Flags confounders & biases
  - Suggests alternative strategies
      | (Jupyter Notebook + Report)
      v
[Principal (Human)] -> Reviews & Iterates

ROUND 1: SKELETON | 骨架掃描

“这本书在说什么”

• 核心问题: 觀測因果推論 (OCI) 需要極高的專業判斷，且現實中缺乏完美的「正確答案」(Ground Truth)。直接依賴 LLM 給出的結論是危險的。
• 核心答案: Netflix 設計了一套增強人類 (Human-Augmenting) 的 Agentic 工作流，包含 Principal (人類), Actor (執行者), Critic (評論者)，透過輸出透明的 Jupyter Notebook 供人類驗證。
• 论证结构: 介紹因果推論在企業的應用 -> 提出核心哲學：過程審查勝於單純比對答案 -> 定義三方角色 (Principal, Actor, Critic) -> Netflix 新娛樂內容成效的實際案例 -> 如何利用代理處理後續分析與開源評估。

章节骨架

1. 背景與挑戰: OCI 分析容易被偏誤扭曲。
2. 設計哲學: 以「目標試驗模擬 (Target trial emulation)」為核心，強制加入診斷檢測（共變數平衡、重疊性、安慰劑檢驗等），強調「過程審計 (Process audits)」。
3. 角色分工:
   • Principal (人類): 提供計畫與背景知識。
   • Actor (代理): 將計畫轉化為規格，執行分析與診斷。
   • Critic (代理): 審查結果，指出盲點，標示可信度。
4. Netflix 實際案例: 評估新娛樂類型對用戶留存的影響。LLM 直接跑出了過分樂觀的結果，而帶有 Critic 診斷的 Agent 工作流成功攔截了「早期採用者偏誤 (Early adopter bias)」。
5. 開源與評估: 發布 oci-agent 開源專案，並在 ACIC 競賽資料集上證明此工作流的估計準確度顯著高於無框架輔助的 LLM (One-shot prompting)。

ROUND 2: DISSECTION | 血肉解剖

“凭什么这么说”

论证链

LLM 直接跑 OCI 容易忽略隱藏偏誤 --> 引入強制性統計診斷 (Diagnostics) --> Critic Agent 發現重疊性 (Overlap) 不足 --> Actor Agent 使用 Crump-style trimming 修正 --> 產出高度可信的保守估計。

关键证据

1. 早期採用者偏誤 (Early Adopter Bias): 在 Netflix 案例中，純 Claude Sonnet 4.6 單次 Prompt 給出的治療效果被高估。Critic 透過診斷發現，大眾對該功能的「傾向分數 (Propensity score)」極端不均。
2. 修正手段: Actor 被指示進行傾向分數範圍在 [0.1, 0.9] 的 Crump-style trimming，結果雖然效應縮水至原始估計的 25%，但代表了真正可靠的因果關係。
3. 多重性分析降低勞力: 代理可輕易執行「敏感度分析 (Sensitivity analysis)」，測試不同 Trimming 門檻對結果的影響；或是依時間切片執行同一個 Notebook。

隐形假设与边界

• 隐形假设: 人類專家 (Principal) 具備判讀 Agent 產出的能力，並且對領域知識與潛在干擾因子 (Confounders) 有初步理解。
• 边界条件: 此工作流目前專注於無干擾假設 (Unconfoundedness) 下的觀測因果推論，如果資料生成過程違背了這些基本假設，Agent 依然無法憑空創造正確答案。

ROUND 3: SOUL | 靈魂提取

“还能怎么用”

• 作者盲点: 儘管宣稱降低勞力，但人類必須仔細審閱每一份 Notebook，這在大規模批次分析的場景下，人類可能依然會成為瓶頸 (Bottleneck)。
• 知识连接: 這是一種典範轉移：從「AI 作為解答機 (Oracle)」轉變為「AI 作為研究助理與紅隊 (Research Assistant & Red Team)」。此概念同樣適用於資安稽核或醫療診斷。
• 行动触发: 在日常資料分析任務中，不要只向 LLM 要 SQL 或 Python 代碼。要求它先寫下「檢查資料偏誤的邏輯」，再根據檢查結果寫出分析報告。

跨域映射

• 在 生成式 AI 設計，這叫 Actor-Critic 強化學習架構的應用層延伸；在 軟體工程，這叫 結對編程 (Pair Programming) 與 Code Review。

A Human-Augmenting Agentic Workflow for Causal Inference (Architectural Deep Dive)

前言/背景

隨著企業大量使用軟體代理 (Agents) 來執行資料分析，直接信任 LLM 給出的結果在「觀測因果推論 (OCI)」這類高風險領域變得不可行。Netflix 提出了一套基於 Actor-Critic 架構的工作流，強調不盲信結果，而是產出可供人類專家審閱的診斷與執行過程 (Notebook)。

章節詳細總結

AI 工作流的角色分工設計

系統被嚴格劃分為三個協作 Persona：

• Principal (專家): 定義分析目標、威脅與潛在干擾因子 (Confounders)。
• Actor (執行代理): 將抽象計畫轉化為資料處理腳本。必須嚴格遵循指定的工具，並執行四項設計診斷：
  1. Covariate balance (共變數平衡): 治療組與對照組的特徵差異必須小於 0.2 (Standardized mean difference)。
  2. Overlap (重疊性): 傾向分數需落在 0.1 到 0.9 之間。
  3. Placebo outcome (安慰劑測試): 處置發生前的測量結果不應產生顯著的處置效應。
  4. Sensitivity (敏感度): 評估未觀測到的干擾因子對結果的影響。
• Critic (審查代理): 核對 Actor 的分析是否與 Principal 的意圖一致。批判性地檢視四大診斷結果，並提供替代策略（例如建議改用鼓勵性隨機對照試驗 Encouragement RCTs）。

解決資料診斷失敗的自動化劇本

在 Netflix 新娛樂功能成效的案例中：

1. 問題發現: Critic 發現基礎模型做出的迴歸分析存在嚴重的「早期採用者偏誤」，導致 Overlap 診斷失敗。
2. 自動修正 (Remediation): 工作流透過設定 Playbook 讓 Actor 執行 Crump-style trimming，自動將傾向分數極端的數據剃除。
3. 多重測試 (Sensitivity Analysis): 代理可自動對 [0, 1] 到 [0.15, 0.85] 多種 Trimming 區間重複執行分析，大幅降低了手動調整變數並重跑 Jupyter Notebook 的勞力。

總結與結論

• 在沒有絕對真實 (Ground Truth) 的領域，Agent 的評估標準必須轉向「過程審計 (Process audits)」。
• 引入了雙重驗證機制的 Actor-Critic 模式，能有效修正 LLM 單次生成的盲目自信 (Hallucinated confidence)。
• Netflix 已開源 oci-agent，證明了結構化腳手架 (Scaffolding) 與嚴格的診斷檢測，能幫助 LLM 在複雜統計場景下擊敗零樣本提示 (Zero-shot prompting)。