Pydantic Logfire 架構設計:用 OpenTelemetry 與單一資料表做可觀測性
以資料驗證庫聞名全 Python 生態的 Pydantic,在 2024 年 10 月正式推出雲端觀測平台 Logfire。
從資料驗證工具跨足基礎設施市場,創辦人 Samuel Colvin 指出,當時市場上的觀測工具體驗停滯在十五年前水準:
observability feels like it’s stuck where the rest of infra was 15 years ago
商業邏輯同樣直白。Colvin 在接受 TechCrunch 專訪時坦言,做觀測平台正是為了將團隊長年累積的信譽與品牌變現:
all the people who need Pydantic, the validation library, also need observability
Pydantic 的目標,是將驗證庫累積的開發者體驗帶入觀測領域;而 OpenTelemetry 這套業界通用的開放標準,正好為各家後端提供了統一的遙測資料格式。
單表模型:把 Log 視為「零長度 Span」
傳統的可觀測性架構中,開發者常需要在分立的系統間切換:用一套工具查分散式追蹤(traces),再跳到另一套工具翻應用日誌(logs)。即使兩者記下同一場故障,跨介面的關聯查詢仍需另行拼湊。
在分散式追蹤中,Trace 代表一次請求穿梭於各服務的完整歷程,而 Span 則是歷程中每個具備耗時的工作單元(例如一次 SQL 查詢或 HTTP 呼叫),彼此巢狀形成樹狀階層。
Logfire 選擇在資料模型上統一這兩種資料。在儲存核心中,Logfire 不分日誌與追蹤表,全數收斂至名為 records 的單一資料表(預聚合數值指標則另存於 metrics 表)。官方 SQL 參考文件對此給出了核心定義:
Each row in
recordsis a span or log (essentially a span with no duration)
在 Logfire 的模型中,log 本質上就是沒有持續時間的 span。日誌與追蹤天然共享相同的 trace ID、span ID 與樹狀階層。
定位問題時,以一行簡單的 WHERE is_exception AND level >= 'error' 即可篩出錯誤(is_exception 代表帶有 Python 例外物件的紀錄),再透過同一張表共享的 trace_id 抓出整棵呼叫樹,無需在不同資料庫間複雜拼表,就能還原事件的完整脈絡。
import logfire
logfire.configure()
with logfire.span('process order {order_id}', order_id=42):
logfire.info('validating payload')
# 業務邏輯執行
在上面的最小範例中,logfire.info 呼叫會成為零長度的子 span,自動掛在目前執行中的工作單元底下。每個事件自動繼承當下的結構化屬性,除錯時便能直接以單純的 SQL 查詢完整關聯上下文。
標準協定與可進可出:不綁死專屬 Agent
監控工具常見的隱憂之一,是專屬 Agent 帶來的供應商鎖定(vendor lock-in)。一旦日後需要搬遷,往往得重寫所有微服務中負責傳送遙測資料的監控程式碼(Instrumentation)。
Logfire 全面押注開放標準 OpenTelemetry(OTel),進料格式直接走標準 OTLP 協定。官方文件明確指出,標準 Collector 無需任何額外設定即可直接串接:
As Logfire is a fully compliant OpenTelemetry SDK and backend it does not require any special configuration
出料方向同樣開放。Python SDK 支援將遙測資料同步導向其他 OTel 相容後端(以 HTTP 上的 protobuf 為限),官方亦提供 S3 備份指南與 Query API 供程式化取回。更換平台只需調整 Collector 的匯出設定,完全不必碰觸業務邏輯。
- Application (Python / Rust / TypeScript)
- OTLP (Protobuf over gRPC / HTTP)OpenTelemetry Collector
- OTLP ExportLogfire Backend (Ingestion & Live View)
- JSON ShreddingParquet Files on Object Storage + DataFusion SQL
官方提供的 Python 套件本質上是「an opinionated wrapper around OpenTelemetry」。它將原生 OTel 得自行組裝的匯出器、格式化器與上下文傳遞,收斂為開箱即用的一行設定,同時保留日後依標準 OTel 遷移的彈性。
儲存架構:Parquet 與 DataFusion 的分析管線
Logfire 將遙測資料儲存在物件儲存(如 S3)上的 Apache Parquet 檔案中,並以 Apache DataFusion 作為查詢引擎(官方技術文章提及 ClickHouse 僅為理念相近的對照參考,並未直接採用)。
面對屬性各異的遙測資料,若直接將它們當作整包 JSON 字串存入 Parquet,查詢時每次都得消耗大量 I/O 與 CPU 進行反序列化。
Logfire 因此採用了名為「JSON shredding」的動態拆解技術:系統為每個 Parquet 檔案挑選資料總體積或頻率前 128 大的 key,動態轉化為原生型別的實體欄位,其餘低頻屬性才保留在通用 JSON 欄位中。
這種佈局讓 DataFusion 查詢引擎得以發揮現代 OLAP 的兩大加速機制:
- 欄位剪裁(Column Pruning):查詢只需要特定屬性時,底層僅讀取對應欄位的位元組,徹底略過無關欄位。
- 謂詞下推(Predicate Pushdown,條件過濾下推):將
WHERE過濾條件直接交由儲存層處理,利用 Parquet 檔案內建的統計中繼資料(如最大與最小值),在讀取時直接跳過不符合條件的整批資料塊。
藉由省去完整解碼龐大 JSON 的負擔,官方工程專文《How shredding JSON is giving Logfire 1000x query speedups》指出特定查詢獲得了最高達 1,000 倍的加速。
查詢介面採用語法貼近 PostgreSQL 的 DataFusion SQL,可直接以標準 SQL 語法過濾與聚合各項指標,不需另學專屬查詢語言。
計價模型與產品定位
在評估 Logfire 時,需先釐清其授權與商業定位:Logfire 本身是商業閉源服務,並非開源軟體。
官方在 Helm chart 與企業方案中清楚指明了閉源與商業授權屬性:
Self-hosted Logfire is an Enterprise offering that requires a contract and payment. The chart source in this repository uses the MIT License, but the Logfire container images are private and need commercial access.
全站開源的僅限各語言 SDK 與 Helm chart。其 Self-hosted 方案本質上是收費的企業授權,企業若要在 Kubernetes 上私有部署,除了授權費外還需自行承擔資料庫、儲存與認證設施的營運成本。
計價方式則走用量累進制,以單一 record 為單位計算所有 span、log 與 metric。官方定價方案提供每月 1,000 萬筆記錄的免費額度,付費方案(如 Team $49/月起)則包含內建額度並以每百萬筆 $2 的費率計算超額用量。
IMPORTANT
免費額度為硬性上限:免費方案的每月 1,000 萬筆記錄屬於 Hard Cap,一旦用盡系統將暫停接收新寫入,而非自動扣款或產生超額帳單。評估在正式環境使用時,需事先規劃用量監控或設定升級警報。
相較於傳統監控工具(如 Datadog)按受監控主機或節點數量(per-host)收取固定月費的邏輯,用量制在不同工作負載下展現出截然不同的成本特徵:
| 評估面向 | 用量累進制(Logfire) | 固定主機月費(如 Datadog) |
|---|---|---|
| 計價核心 | 記錄總數(records) | 節點或主機數(hosts) |
| 容器橫向擴充 | 成本隨記錄量(流量)成長,與節點數無關 | 成本隨節點數線性遞增,與流量無關 |
| 高流量少節點 | 支出隨記錄量累積而攀升 | 費用固定於節點數,支出較具可預測性 |
| 支出調控手段 | 仰賴取樣(Sampling)直接扣減記錄量 | 仰賴節點整併或方案降級 |
在產品定位上,Logfire 的產品線並未涵蓋基礎設施安全或底層網路監控等領域,而是聚焦應用層的日誌與追蹤。
對於以 Python 為主、希望以標準 OpenTelemetry 避開鎖定並用 SQL 查詢遙測資料的團隊,Logfire 聚焦應用層的單表設計,是個相對輕量的折衷方案。