Pydantic Logfire 架構設計:用 OpenTelemetry 與單一資料表做可觀測性

以資料驗證庫聞名全 Python 生態的 Pydantic,在 2024 年 10 月正式推出雲端觀測平台 Logfire。

從資料驗證工具跨足基礎設施市場,創辦人 Samuel Colvin 指出,當時市場上的觀測工具體驗停滯在十五年前水準:

observability feels like it’s stuck where the rest of infra was 15 years ago

商業邏輯同樣直白。Colvin 在接受 TechCrunch 專訪時坦言,做觀測平台正是為了將團隊長年累積的信譽與品牌變現:

all the people who need Pydantic, the validation library, also need observability

Pydantic 的目標,是將驗證庫累積的開發者體驗帶入觀測領域;而 OpenTelemetry 這套業界通用的開放標準,正好為各家後端提供了統一的遙測資料格式。


單表模型:把 Log 視為「零長度 Span」

傳統的可觀測性架構中,開發者常需要在分立的系統間切換:用一套工具查分散式追蹤(traces),再跳到另一套工具翻應用日誌(logs)。即使兩者記下同一場故障,跨介面的關聯查詢仍需另行拼湊。

在分散式追蹤中,Trace 代表一次請求穿梭於各服務的完整歷程,而 Span 則是歷程中每個具備耗時的工作單元(例如一次 SQL 查詢或 HTTP 呼叫),彼此巢狀形成樹狀階層。

Logfire 選擇在資料模型上統一這兩種資料。在儲存核心中,Logfire 不分日誌與追蹤表,全數收斂至名為 records 的單一資料表(預聚合數值指標則另存於 metrics 表)。官方 SQL 參考文件對此給出了核心定義:

Each row in records is a span or log (essentially a span with no duration)

在 Logfire 的模型中,log 本質上就是沒有持續時間的 span。日誌與追蹤天然共享相同的 trace ID、span ID 與樹狀階層。

定位問題時,以一行簡單的 WHERE is_exception AND level >= 'error' 即可篩出錯誤(is_exception 代表帶有 Python 例外物件的紀錄),再透過同一張表共享的 trace_id 抓出整棵呼叫樹,無需在不同資料庫間複雜拼表,就能還原事件的完整脈絡。

import logfire

logfire.configure()

with logfire.span('process order {order_id}', order_id=42):
    logfire.info('validating payload')
    # 業務邏輯執行

在上面的最小範例中,logfire.info 呼叫會成為零長度的子 span,自動掛在目前執行中的工作單元底下。每個事件自動繼承當下的結構化屬性,除錯時便能直接以單純的 SQL 查詢完整關聯上下文。


標準協定與可進可出:不綁死專屬 Agent

監控工具常見的隱憂之一,是專屬 Agent 帶來的供應商鎖定(vendor lock-in)。一旦日後需要搬遷,往往得重寫所有微服務中負責傳送遙測資料的監控程式碼(Instrumentation)。

Logfire 全面押注開放標準 OpenTelemetry(OTel),進料格式直接走標準 OTLP 協定。官方文件明確指出,標準 Collector 無需任何額外設定即可直接串接:

As Logfire is a fully compliant OpenTelemetry SDK and backend it does not require any special configuration

出料方向同樣開放。Python SDK 支援將遙測資料同步導向其他 OTel 相容後端(以 HTTP 上的 protobuf 為限),官方亦提供 S3 備份指南與 Query API 供程式化取回。更換平台只需調整 Collector 的匯出設定,完全不必碰觸業務邏輯。

  1. Application (Python / Rust / TypeScript)
  2. OTLP (Protobuf over gRPC / HTTP)OpenTelemetry Collector
  3. OTLP ExportLogfire Backend (Ingestion & Live View)
  4. JSON ShreddingParquet Files on Object Storage + DataFusion SQL

官方提供的 Python 套件本質上是「an opinionated wrapper around OpenTelemetry」。它將原生 OTel 得自行組裝的匯出器、格式化器與上下文傳遞,收斂為開箱即用的一行設定,同時保留日後依標準 OTel 遷移的彈性。


儲存架構:Parquet 與 DataFusion 的分析管線

Logfire 將遙測資料儲存在物件儲存(如 S3)上的 Apache Parquet 檔案中,並以 Apache DataFusion 作為查詢引擎(官方技術文章提及 ClickHouse 僅為理念相近的對照參考,並未直接採用)。

面對屬性各異的遙測資料,若直接將它們當作整包 JSON 字串存入 Parquet,查詢時每次都得消耗大量 I/O 與 CPU 進行反序列化。

Logfire 因此採用了名為「JSON shredding」的動態拆解技術:系統為每個 Parquet 檔案挑選資料總體積或頻率前 128 大的 key,動態轉化為原生型別的實體欄位,其餘低頻屬性才保留在通用 JSON 欄位中。

這種佈局讓 DataFusion 查詢引擎得以發揮現代 OLAP 的兩大加速機制:

藉由省去完整解碼龐大 JSON 的負擔,官方工程專文《How shredding JSON is giving Logfire 1000x query speedups》指出特定查詢獲得了最高達 1,000 倍的加速。

查詢介面採用語法貼近 PostgreSQL 的 DataFusion SQL,可直接以標準 SQL 語法過濾與聚合各項指標,不需另學專屬查詢語言。


計價模型與產品定位

在評估 Logfire 時,需先釐清其授權與商業定位:Logfire 本身是商業閉源服務,並非開源軟體。

官方在 Helm chart 與企業方案中清楚指明了閉源與商業授權屬性:

Self-hosted Logfire is an Enterprise offering that requires a contract and payment. The chart source in this repository uses the MIT License, but the Logfire container images are private and need commercial access.

全站開源的僅限各語言 SDK 與 Helm chart。其 Self-hosted 方案本質上是收費的企業授權,企業若要在 Kubernetes 上私有部署,除了授權費外還需自行承擔資料庫、儲存與認證設施的營運成本。

計價方式則走用量累進制,以單一 record 為單位計算所有 span、log 與 metric。官方定價方案提供每月 1,000 萬筆記錄的免費額度,付費方案(如 Team $49/月起)則包含內建額度並以每百萬筆 $2 的費率計算超額用量。

IMPORTANT

免費額度為硬性上限:免費方案的每月 1,000 萬筆記錄屬於 Hard Cap,一旦用盡系統將暫停接收新寫入,而非自動扣款或產生超額帳單。評估在正式環境使用時,需事先規劃用量監控或設定升級警報。

相較於傳統監控工具(如 Datadog)按受監控主機或節點數量(per-host)收取固定月費的邏輯,用量制在不同工作負載下展現出截然不同的成本特徵:

評估面向用量累進制(Logfire)固定主機月費(如 Datadog)
計價核心記錄總數(records)節點或主機數(hosts)
容器橫向擴充成本隨記錄量(流量)成長,與節點數無關成本隨節點數線性遞增,與流量無關
高流量少節點支出隨記錄量累積而攀升費用固定於節點數,支出較具可預測性
支出調控手段仰賴取樣(Sampling)直接扣減記錄量仰賴節點整併或方案降級

在產品定位上,Logfire 的產品線並未涵蓋基礎設施安全或底層網路監控等領域,而是聚焦應用層的日誌與追蹤。

對於以 Python 為主、希望以標準 OpenTelemetry 避開鎖定並用 SQL 查詢遙測資料的團隊,Logfire 聚焦應用層的單表設計,是個相對輕量的折衷方案。