Cerul.ai：賦予 Agent 搜尋與理解影片的能力

原始來源與檔名：Cerul賦予Agent影片搜尋能力.md

來源：@Jiaxi_Cui on X — 2026-04-09

NAPKIN | 餐巾纸

餐巾紙公式

Cerul = 影片語義索引 (語音+畫面+文字) + 毫秒級時間戳定位 + Agent 原生 MCP Skill

一句話

作者開發了 Cerul.ai，這是一個專為 Agent (如 Claude Code) 設計的「影片搜尋引擎」。它打破了過去 AI 只能讀取文字的盲區，透過直接理解影片的畫面與語音語義，讓 Agent 能夠精準找出「某人在哪個影片的幾分幾秒說過什麼概念」，甚至自動產出帶有精準時間戳的報告。

餐巾紙草图

[ The Blind Spot ]
  - LLMs / Text Search -> Cannot "watch" video content.
  - Existing video search -> Only relies on meta-data or popular text reviews.

[ Cerul.ai Architecture ]
  - Indexing: Audio transcript + Visual frames + On-screen text.
  - Query matching: Semantic matching (not exact keyword match).
  - Output: Direct deep-links with exact timestamps (e.g., 35:04 - 36:06).

[ Built for Agents ]
  User -> Claude Code: "Find all Demis Hassabis quotes on AlphaFold"
    -> CC calls Cerul MCP Skill (Spawns 4 parallel sub-searches)
    -> CC parses results, removes noise, generates prep doc with timestamps.

ROUND 1: SKELETON | 骨架掃描

• 核心問題: 現代 AI 搜尋引擎極其強大，但面對網路上巨量的影片資源卻束手無策，影片內容成為了黑盒。
• 核心答案: 建立一個深度的影片語義索引系統 Cerul，並將其封裝為 Agent Skill (MCP)。這不是做一個給人類用的網頁搜尋，而是做一個給 AI Agent 用的「視覺與聽覺 API」。

ROUND 2: DISSECTION | 血肉解剖

• 超越字面關鍵字的語義匹配: 搜尋「compute is the new oil」，系統能精準找到 Sam Altman 表達「AI 需要某種底層資源」的片段，即使該片段完全沒有出現 compute 或 oil 兩個單字。它匹配的是思想內核。
• Agent Native (為 Agent 構建):
  • 作者觀察到 Tavily 的成功，意識到最大的客戶不是人類，而是 Agent。Agent 不會討價還價，每次 API 呼叫都是自動化的真金白銀。
  • Claude Code 調用 Cerul 時，會自主將大問題拆分為 4 個子搜尋平行執行，聚合資料後，還能自動判別來源是否可靠（例如過濾掉非 Hassabis 本人的發言）。
• 多端支援: 作為一個標準 MCP Skill，可無縫接入 Claude Code, Cursor, Windsurf 甚至手機端的輕量 Agent (如小龍蝦)。

ROUND 3: SOUL | 靈魂提取

• 深層洞見: 「未來的基礎設施是 API-First, Agent-Second, Human-Last。」 作者蟄伏五年，終於等到了「Agent」這個完美的軟體消費者。Cerul 的故事揭示了 AI 時代創業的新典範：不要做複雜的 GUI 給人類用，做一個擁有極高資訊密度的 Data Oracle (資料神諭) 透過 API 提供給全世界的 Agent 調用。這就是「賦予大腦眼睛」的意義。

Multi-Modal Information Retrieval (Architectural Deep Dive)

影片語義索引的空間對映 (Semantic Vector Space Mapping)

傳統影片檢索依賴於 Metadata (標題、描述、標籤) 或是語音轉文字 (ASR) 後的正則表達式匹配 (Keyword Match)。 Cerul 的架構革命在於它構建了一個多模態聯合嵌入空間 (Multi-modal Joint Embedding Space)。

• 系統將 ASR (語音內容)、OCR (畫面文字) 與 Visual Features (畫面動作特徵) 共同映射 (Project) 到同一個高維向量空間中。
• 當使用者輸入 “compute is the new oil” 時，LLM 會先將這句話轉換為概念向量 (Concept Vector)。
• 向量資料庫 (Vector DB) 進行近似最近鄰搜尋 (ANN)，找到距離最近的影片片段。這就是為何即使原片沒有說到這些詞，系統依然能基於「概念等價性」命中目標。

Agent-Centric API 設計 (Design for Autonomous Consumption)

Cerul 展現了 MCP (Model Context Protocol) 的完美應用場景。 為了讓 Agent 能夠自主消費 API，返回的資料結構必須具有高度的確定性 (Determinism) 與可溯源性 (Traceability)。

• Cerul 不只返回「答案」，它返回的是一個帶有 video_id, start_time, end_time, confidence_score, speaker_identity 的結構化 JSON。
• 這種設計讓 Claude Code (Agent) 能夠基於這些 Metadata 進行二次推理（例如發現發言人不是目標人物而主動過濾）。這證明了：在 Agent 經濟中，誰能提供結構化程度最高、信噪比最低的 Context，誰就能成為 Agent 時代的水電煤。