Elasticsearch 入門:從一段文字到一份有順序的搜尋結果

在關聯式資料庫中,如果要找出名稱包含「耳機」的商品,寫出 WHERE name LIKE '%耳機%' 往往是最直覺的第一步。對於資料量不大、查詢單純的系統,這種子字串比對完全能解決問題。

但真實世界的搜尋需求,往往會超出子字串的範疇。當使用者輸入 wireless headphones 時,通常期待同時包含兩個詞的商品排在最前面,只包含其中一個詞的排在後面;當使用者輸入不同大小寫的單字時,也不希望搜尋結果徹底落空。

Elasticsearch 正是為了解決這類問題而生的搜尋與分析引擎。它建立在 Apache Lucene(開源全文檢索程式庫,Elasticsearch 的底層引擎)之上,透過 HTTP JSON API 提供操作介面。這裡用四筆極簡的商品資料,帶你建立全文搜尋的核心心智模型:從文字如何被切分與索引,到搜尋結果如何被過濾與排序。


最小範例:四件商品的資料結構

為了讓每個搜尋結果與排序都能用人工逐一驗證,我們使用四筆商品作為貫穿全文的範例資料:

文件 ID商品名稱 name型號 sku分類 category價格 price
1無線耳機 Wireless HeadphonesWH-1000XM5audio8990
2無線滑鼠 Wireless MouseMS-200computer990
3有線耳機 Wired HeadphonesHP-100audio1290
4耳機收納盒 Headphones CaseCASE-01accessory390

在 Elasticsearch 中,一個有名稱的文件集合稱為 Index(例如 products-primer),相當於資料庫中的資料表;每一筆資料則是一份 JSON 格式的 Document。


從 SQL LIKE 到反向索引:檢索機制與語意差異

傳統關聯式資料庫的資料表是依「列」(Row)組織的。執行 WHERE name LIKE '%headphones%' 時,資料庫必須逐列檢查目標欄位是否包含該子字串;由於前面帶有萬用字元 %,標準的 B-tree 索引通常無法發揮加速效果。

雖然 PostgreSQL 具備 GIN 索引、pg_trgm 擴充套件以及原生全文搜尋能力,但兩者的核心差異在於搜尋語意與相關性計算。字串包含只回答「有沒有」,而全文搜尋要回答「多相關」與「怎麼排」。

Elasticsearch 的核心機制是 反向索引(Inverted Index)。它在寫入時先對文字進行分析與正規化,萃取出詞(Token),再建立「從詞到文件」的對應清單。以這四筆商品的英文名稱為例:

 Term (詞) --> Postings List (文件清單)

 +------------+--------------------------------------+
 | wireless   | Document 1, Document 2               |
 | headphones | Document 1, Document 3, Document 4   |
 | mouse      | Document 2                           |
 | case       | Document 4                           |
 +------------+--------------------------------------+

當查詢 wireless headphones 時,系統不再需要掃描所有文件,而是直接取出 wireless 與 headphones 對應的文件清單,依查詢規則進行交集或聯集,並計算相關性分數。Elasticsearch 是用寫入時的額外處理與索引空間,換取查詢時的豐富語意與快速檢索。


定義 Mapping:決定欄位的搜尋語意

在寫入資料前,必須先透過 Mapping 定義每個欄位的型別。Mapping 同時也是搜尋行為的設定:

PUT /products-primer
{
  "mappings": {
    "properties": {
      "name": { "type": "text", "analyzer": "standard" },
      "sku": { "type": "keyword" },
      "category": { "type": "keyword" },
      "price": { "type": "integer" }
    }
  }
}

這份 Mapping 展現了兩種截然不同的文字型別:

建立索引後,我們透過批次寫入(Bulk API)將這四筆商品寫入 Elasticsearch。


文字分析與 Token 拆解:Analyzer 內部機制

全文搜尋之所以能運作,關鍵在於 Analyzer(文字分析器)。一個分析器通常由 Character Filters(字元過濾)、Tokenizer(分詞器)與 Token Filters(詞元過濾)三部分串連而成。

文字分析的典型處理流程如下:

  1. Raw Text
  2. Character FiltersHTML strip, etc.
  3. TokenizerStandard, etc.
  4. Token FiltersLowercase, etc.
  5. Tokens

以內建的 standard 分析器測試 name 欄位文字:

POST /products-primer/_analyze
{
  "field": "name",
  "text": "無線耳機 Wireless Headphones WH-1000XM5"
}

分析器輸出的 Token 清單會呈現三個重要特徵:

  1. 英文小寫化:Wireless 與 Headphones 被轉為 wireless 與 headphones。
  2. 符號拆分:連字號不會保留,WH-1000XM5 被切分為 wh 與 1000xm5。
  3. 中文單字切分:Unicode 分詞規則預設將漢字拆成單字「無」、「線」、「耳」、「機」,而非自然詞彙「無線」與「耳機」。

相較之下,對 keyword 型別的 sku 欄位測試相同字串 WH-1000XM5 時,產出的 Token 依然是完整的 WH-1000XM5。

(註:本文後續查詢範例以英文單字為主,以聚焦全文檢索核心機制;實務上若要讓中文依語意分詞,必須另外安裝中文分析器外掛。)


查詢陷阱:Term 與 Match 的本質差異

理解了反向索引中的 Token,就能避開一個新手常見的搜尋陷阱。

陷阱一:對 text 欄位使用 term 查詢

POST /products-primer/_search
{
  "query": {
    "term": { "name": "Wireless" }
  }
}

這個查詢預期回傳 0 筆結果。因為 term 查詢完全不分析輸入字串,它會直接拿大寫的 "Wireless" 去反向索引中比對;而索引裡只有被轉成小寫的 "wireless"。

正確做法:全文搜尋應使用 match 查詢。match 會先用該欄位的分析器處理查詢字串,將 "Wireless" 轉為 "wireless" 後再比對,預期命中文件 1 與文件 2。

POST /products-primer/_search
{
  "query": {
    "match": { "name": "Wireless" }
  }
}

同樣地,執行 match name: "wire" 的結果預期也是 0 筆。因為反向索引中存在的是 Token wireless 而非 wire;全文搜尋是Token 比對,而非任意子字串搜尋。

型號精確比對:keyword 搭配 term

對於型號、狀態或分類等 keyword 欄位,term 查詢 才是正確選擇:

POST /products-primer/_search
{
  "query": {
    "term": { "sku": "WH-1000XM5" }
  }
}

此查詢預期精確命中文件 1;若傳入小寫 wh-1000xm5 則查無結果,因為 keyword 預設嚴格區分大小寫。

Term 與 Match 核心差異對照

查詢語法查詢詞是否經過 Analyzer比對目標適用欄位型別典型使用情境
term否(原樣傳入比對)反向索引中的精確 Tokenkeyword、數值、布林型號、狀態代碼、分類 ID
match是(依欄位分析器分詞)分詞後的個別 Tokentext商品名稱、文章標題、全文檢索

複合查詢設計:相關性評分與結構化過濾

真實的搜尋介面通常混合了全文關鍵字與結構化條件(如分類、價格上限)。

Match 的預設布林邏輯

當輸入多個單字時,match 查詢預設使用 OR 邏輯:

POST /products-primer/_search
{
  "query": {
    "match": { "name": "wireless headphones" }
  }
}

此查詢預期會命中全部四件商品:文件 1 包含兩者,文件 2 包含 wireless,文件 3 與 4 包含 headphones。若業務需求要求兩者皆必須出現,需明確指定 operator: "and":

POST /products-primer/_search
{
  "query": {
    "match": {
      "name": {
        "query": "wireless headphones",
        "operator": "and"
      }
    }
  }
}

指定 and 後,搜尋結果預期只剩文件 1。

Bool 查詢:區分評分與門檻

假設需求是:搜尋名稱包含 headphones 的商品,且必須屬於 audio 分類、價格在 2,000 元以下:

POST /products-primer/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "name": "headphones" } }
      ],
      "filter": [
        { "term": { "category": "audio" } },
        { "range": { "price": { "lte": 2000 } } }
      ]
    }
  }
}

這個 Bool 查詢 清楚劃分了兩種邏輯:

在此條件下,文件 2 因名稱不含 headphones 在 must 階段即未通過;文件 1 因價格超出 2,000 元被排除;文件 4 因分類是 accessory 被排除,預期最終只有文件 3 命中。


搜尋排序機制:BM25 評分演算法的三個直覺

在沒有自訂排序欄位時,Elasticsearch 依據 _score(相關性分數)排序結果。預設的評分演算法是 BM25,理解它只需要掌握三個核心直覺:

  1. 逆文件頻率(IDF,Inverse Document Frequency):一個詞在全索引的所有文件中越少出現,代表該詞越罕見、辨識力越高,包含該詞的文件能獲得較高分數加權。在四筆範例中,wireless 只出現在 2 份文件裡,比出現在 3 份文件的 headphones 更具辨識力。
  2. 詞頻(TF,Term Frequency):同一個詞在單一文件中出現越多次,相關性越高;但 BM25 設定了飽和上限,出現 10 次的分數不會是出現 1 次的 10 倍。
  3. 欄位長度正規化(Field Length Normalization):如果短標題和長文章都包含同一個關鍵字,短標題通常代表更集中的主題,在短欄位中命中會獲得較高權重。

當查詢 wireless headphones(OR 模式)時,依這三個直覺推導:同時命中兩個關鍵詞的文件 1 預期分數最高;只命中其中一個詞的文件 2,可能因包含較罕見的 wireless 而獲得高 IDF 加權;文件 3 與文件 4 則再依欄位長度與比對權重決定相對先後。

NOTE

_score 僅供單次查詢內部排列相對先後順序,不具備絕對數值意義,不能跨不同查詢比較,也不代表品質百分比。


實務系統架構與技術選擇的邊界

將 Elasticsearch 整合進既有架構時,有三個關鍵維運概念必須釐清:

1. 寫入後的近即時延遲(Near Real-Time)

Elasticsearch 屬於近即時搜尋。資料寫入後,需要透過 Refresh 操作,將記憶體緩衝區轉為可供搜尋的 Lucene Segment(內部唯讀索引片段,預設每秒自動產生一次,僅限最近 30 秒內有搜尋請求的索引)。

寫入 API 回傳成功僅代表資料已記錄於日誌中,並不代表能立刻被 _search 查到。生產環境應接受此秒級延遲,切忌在每筆寫入請求後強加 refresh=true,否則會造成大量微小 Segment 並損耗寫入吞吐量。

2. 事實來源與搜尋模型的權責劃分

在典型的後端架構中,PostgreSQL 等關聯式資料庫應作為單一事實來源(Single Source of Truth),負責交易一致性、庫存扣減與訂單狀態;Elasticsearch 則作為讀取專用的搜尋模型(Read Model)。

常見的資料流架構如下:

 [ Client ] --Write--> [ PostgreSQL (SSOT) ]
     |                          |
     |                          v  Sync (CDC/Worker)
                        [ Elasticsearch ]
     |                          ^
     |                          |
     +--------- Search Query ---+

引入搜尋引擎意味著系統必須承擔資料同步管線(如 CDC 變更資料擷取或非同步佇列)、網路延遲、重試機制與資料對帳成本。

3. 架構評估:留在關聯式資料庫或導入 Elasticsearch

評估面向留在關聯式資料庫(PostgreSQL)導入專用搜尋引擎(Elasticsearch)
檢索需求精確尋找、字首比對、單純子字串多詞語意相關性、靈活分詞、自訂權重
排序機制結構化欄位排序(時間、價格、ID)BM25 相關性計分(_score)與混合評分
架構負擔單一資料庫,無同步延遲與對帳成本需維運資料同步管線(CDC/佇列)與承擔秒級延遲