Elasticsearch 入門:從一段文字到一份有順序的搜尋結果
在關聯式資料庫中,如果要找出名稱包含「耳機」的商品,寫出 WHERE name LIKE '%耳機%' 往往是最直覺的第一步。對於資料量不大、查詢單純的系統,這種子字串比對完全能解決問題。
但真實世界的搜尋需求,往往會超出子字串的範疇。當使用者輸入 wireless headphones 時,通常期待同時包含兩個詞的商品排在最前面,只包含其中一個詞的排在後面;當使用者輸入不同大小寫的單字時,也不希望搜尋結果徹底落空。
Elasticsearch 正是為了解決這類問題而生的搜尋與分析引擎。它建立在 Apache Lucene(開源全文檢索程式庫,Elasticsearch 的底層引擎)之上,透過 HTTP JSON API 提供操作介面。這裡用四筆極簡的商品資料,帶你建立全文搜尋的核心心智模型:從文字如何被切分與索引,到搜尋結果如何被過濾與排序。
最小範例:四件商品的資料結構
為了讓每個搜尋結果與排序都能用人工逐一驗證,我們使用四筆商品作為貫穿全文的範例資料:
| 文件 ID | 商品名稱 name | 型號 sku | 分類 category | 價格 price |
|---|---|---|---|---|
| 1 | 無線耳機 Wireless Headphones | WH-1000XM5 | audio | 8990 |
| 2 | 無線滑鼠 Wireless Mouse | MS-200 | computer | 990 |
| 3 | 有線耳機 Wired Headphones | HP-100 | audio | 1290 |
| 4 | 耳機收納盒 Headphones Case | CASE-01 | accessory | 390 |
在 Elasticsearch 中,一個有名稱的文件集合稱為 Index(例如 products-primer),相當於資料庫中的資料表;每一筆資料則是一份 JSON 格式的 Document。
從 SQL LIKE 到反向索引:檢索機制與語意差異
傳統關聯式資料庫的資料表是依「列」(Row)組織的。執行 WHERE name LIKE '%headphones%' 時,資料庫必須逐列檢查目標欄位是否包含該子字串;由於前面帶有萬用字元 %,標準的 B-tree 索引通常無法發揮加速效果。
雖然 PostgreSQL 具備 GIN 索引、pg_trgm 擴充套件以及原生全文搜尋能力,但兩者的核心差異在於搜尋語意與相關性計算。字串包含只回答「有沒有」,而全文搜尋要回答「多相關」與「怎麼排」。
Elasticsearch 的核心機制是 反向索引(Inverted Index)。它在寫入時先對文字進行分析與正規化,萃取出詞(Token),再建立「從詞到文件」的對應清單。以這四筆商品的英文名稱為例:
Term (詞) --> Postings List (文件清單)
+------------+--------------------------------------+
| wireless | Document 1, Document 2 |
| headphones | Document 1, Document 3, Document 4 |
| mouse | Document 2 |
| case | Document 4 |
+------------+--------------------------------------+
當查詢 wireless headphones 時,系統不再需要掃描所有文件,而是直接取出 wireless 與 headphones 對應的文件清單,依查詢規則進行交集或聯集,並計算相關性分數。Elasticsearch 是用寫入時的額外處理與索引空間,換取查詢時的豐富語意與快速檢索。
定義 Mapping:決定欄位的搜尋語意
在寫入資料前,必須先透過 Mapping 定義每個欄位的型別。Mapping 同時也是搜尋行為的設定:
PUT /products-primer
{
"mappings": {
"properties": {
"name": { "type": "text", "analyzer": "standard" },
"sku": { "type": "keyword" },
"category": { "type": "keyword" },
"price": { "type": "integer" }
}
}
}
這份 Mapping 展現了兩種截然不同的文字型別:
text欄位(如name):會經過分析器(Analyzer)拆解成詞彙並建立反向索引,用於全文檢索與相關性計分。keyword欄位(如sku、category):不經過分詞,保留原始字串作為單一整體,用於精確比對、過濾、排序與聚合(類似 SQL 的GROUP BY統計)。
建立索引後,我們透過批次寫入(Bulk API)將這四筆商品寫入 Elasticsearch。
文字分析與 Token 拆解:Analyzer 內部機制
全文搜尋之所以能運作,關鍵在於 Analyzer(文字分析器)。一個分析器通常由 Character Filters(字元過濾)、Tokenizer(分詞器)與 Token Filters(詞元過濾)三部分串連而成。
文字分析的典型處理流程如下:
- Raw Text
- Character FiltersHTML strip, etc.
- TokenizerStandard, etc.
- Token FiltersLowercase, etc.
- Tokens
以內建的 standard 分析器測試 name 欄位文字:
POST /products-primer/_analyze
{
"field": "name",
"text": "無線耳機 Wireless Headphones WH-1000XM5"
}
分析器輸出的 Token 清單會呈現三個重要特徵:
- 英文小寫化:
Wireless與Headphones被轉為wireless與headphones。 - 符號拆分:連字號不會保留,
WH-1000XM5被切分為wh與1000xm5。 - 中文單字切分:Unicode 分詞規則預設將漢字拆成單字「無」、「線」、「耳」、「機」,而非自然詞彙「無線」與「耳機」。
相較之下,對 keyword 型別的 sku 欄位測試相同字串 WH-1000XM5 時,產出的 Token 依然是完整的 WH-1000XM5。
(註:本文後續查詢範例以英文單字為主,以聚焦全文檢索核心機制;實務上若要讓中文依語意分詞,必須另外安裝中文分析器外掛。)
查詢陷阱:Term 與 Match 的本質差異
理解了反向索引中的 Token,就能避開一個新手常見的搜尋陷阱。
陷阱一:對 text 欄位使用 term 查詢
POST /products-primer/_search
{
"query": {
"term": { "name": "Wireless" }
}
}
這個查詢預期回傳 0 筆結果。因為 term 查詢完全不分析輸入字串,它會直接拿大寫的 "Wireless" 去反向索引中比對;而索引裡只有被轉成小寫的 "wireless"。
正確做法:全文搜尋應使用 match 查詢。match 會先用該欄位的分析器處理查詢字串,將 "Wireless" 轉為 "wireless" 後再比對,預期命中文件 1 與文件 2。
POST /products-primer/_search
{
"query": {
"match": { "name": "Wireless" }
}
}
同樣地,執行 match name: "wire" 的結果預期也是 0 筆。因為反向索引中存在的是 Token wireless 而非 wire;全文搜尋是Token 比對,而非任意子字串搜尋。
型號精確比對:keyword 搭配 term
對於型號、狀態或分類等 keyword 欄位,term 查詢 才是正確選擇:
POST /products-primer/_search
{
"query": {
"term": { "sku": "WH-1000XM5" }
}
}
此查詢預期精確命中文件 1;若傳入小寫 wh-1000xm5 則查無結果,因為 keyword 預設嚴格區分大小寫。
Term 與 Match 核心差異對照
| 查詢語法 | 查詢詞是否經過 Analyzer | 比對目標 | 適用欄位型別 | 典型使用情境 |
|---|---|---|---|---|
term | 否(原樣傳入比對) | 反向索引中的精確 Token | keyword、數值、布林 | 型號、狀態代碼、分類 ID |
match | 是(依欄位分析器分詞) | 分詞後的個別 Token | text | 商品名稱、文章標題、全文檢索 |
複合查詢設計:相關性評分與結構化過濾
真實的搜尋介面通常混合了全文關鍵字與結構化條件(如分類、價格上限)。
Match 的預設布林邏輯
當輸入多個單字時,match 查詢預設使用 OR 邏輯:
POST /products-primer/_search
{
"query": {
"match": { "name": "wireless headphones" }
}
}
此查詢預期會命中全部四件商品:文件 1 包含兩者,文件 2 包含 wireless,文件 3 與 4 包含 headphones。若業務需求要求兩者皆必須出現,需明確指定 operator: "and":
POST /products-primer/_search
{
"query": {
"match": {
"name": {
"query": "wireless headphones",
"operator": "and"
}
}
}
}
指定 and 後,搜尋結果預期只剩文件 1。
Bool 查詢:區分評分與門檻
假設需求是:搜尋名稱包含 headphones 的商品,且必須屬於 audio 分類、價格在 2,000 元以下:
POST /products-primer/_search
{
"query": {
"bool": {
"must": [
{ "match": { "name": "headphones" } }
],
"filter": [
{ "term": { "category": "audio" } },
{ "range": { "price": { "lte": 2000 } } }
]
}
}
}
這個 Bool 查詢 清楚劃分了兩種邏輯:
must區段:條件必須符合,且參與相關性計分(_score),決定搜尋結果的先後順序。filter區段:只判斷條件符合與否,不參與計分。Elasticsearch 會自動快取常用的 filter 條件,提升後續查詢效能。
在此條件下,文件 2 因名稱不含 headphones 在 must 階段即未通過;文件 1 因價格超出 2,000 元被排除;文件 4 因分類是 accessory 被排除,預期最終只有文件 3 命中。
搜尋排序機制:BM25 評分演算法的三個直覺
在沒有自訂排序欄位時,Elasticsearch 依據 _score(相關性分數)排序結果。預設的評分演算法是 BM25,理解它只需要掌握三個核心直覺:
- 逆文件頻率(IDF,Inverse Document Frequency):一個詞在全索引的所有文件中越少出現,代表該詞越罕見、辨識力越高,包含該詞的文件能獲得較高分數加權。在四筆範例中,
wireless只出現在 2 份文件裡,比出現在 3 份文件的headphones更具辨識力。 - 詞頻(TF,Term Frequency):同一個詞在單一文件中出現越多次,相關性越高;但 BM25 設定了飽和上限,出現 10 次的分數不會是出現 1 次的 10 倍。
- 欄位長度正規化(Field Length Normalization):如果短標題和長文章都包含同一個關鍵字,短標題通常代表更集中的主題,在短欄位中命中會獲得較高權重。
當查詢 wireless headphones(OR 模式)時,依這三個直覺推導:同時命中兩個關鍵詞的文件 1 預期分數最高;只命中其中一個詞的文件 2,可能因包含較罕見的 wireless 而獲得高 IDF 加權;文件 3 與文件 4 則再依欄位長度與比對權重決定相對先後。
NOTE
_score 僅供單次查詢內部排列相對先後順序,不具備絕對數值意義,不能跨不同查詢比較,也不代表品質百分比。
實務系統架構與技術選擇的邊界
將 Elasticsearch 整合進既有架構時,有三個關鍵維運概念必須釐清:
1. 寫入後的近即時延遲(Near Real-Time)
Elasticsearch 屬於近即時搜尋。資料寫入後,需要透過 Refresh 操作,將記憶體緩衝區轉為可供搜尋的 Lucene Segment(內部唯讀索引片段,預設每秒自動產生一次,僅限最近 30 秒內有搜尋請求的索引)。
寫入 API 回傳成功僅代表資料已記錄於日誌中,並不代表能立刻被 _search 查到。生產環境應接受此秒級延遲,切忌在每筆寫入請求後強加 refresh=true,否則會造成大量微小 Segment 並損耗寫入吞吐量。
2. 事實來源與搜尋模型的權責劃分
在典型的後端架構中,PostgreSQL 等關聯式資料庫應作為單一事實來源(Single Source of Truth),負責交易一致性、庫存扣減與訂單狀態;Elasticsearch 則作為讀取專用的搜尋模型(Read Model)。
常見的資料流架構如下:
[ Client ] --Write--> [ PostgreSQL (SSOT) ]
| |
| v Sync (CDC/Worker)
[ Elasticsearch ]
| ^
| |
+--------- Search Query ---+
引入搜尋引擎意味著系統必須承擔資料同步管線(如 CDC 變更資料擷取或非同步佇列)、網路延遲、重試機制與資料對帳成本。
3. 架構評估:留在關聯式資料庫或導入 Elasticsearch
| 評估面向 | 留在關聯式資料庫(PostgreSQL) | 導入專用搜尋引擎(Elasticsearch) |
|---|---|---|
| 檢索需求 | 精確尋找、字首比對、單純子字串 | 多詞語意相關性、靈活分詞、自訂權重 |
| 排序機制 | 結構化欄位排序(時間、價格、ID) | BM25 相關性計分(_score)與混合評分 |
| 架構負擔 | 單一資料庫,無同步延遲與對帳成本 | 需維運資料同步管線(CDC/佇列)與承擔秒級延遲 |