bleve是golang實現的一個全文索引庫，類似lucene
官方使用示例：

import "github.com/blevesearch/bleve/v2"

func main() {
    // 創建index
    mapping := bleve.NewIndexMapping()
    index, err := bleve.New("example.bleve", mapping)

    // 索引數據
    err = index.Index(identifier, your_data)

    // 全文搜索
    query := bleve.NewMatchQuery("text")
    search := bleve.NewSearchRequest(query)
    searchResults, err := index.Search(search)
}

我們先來看看他的類型

type IndexMappingImpl struct {
    TypeMapping           map[string]*DocumentMapping `json:"types,omitempty"`
    DefaultMapping        *DocumentMapping            `json:"default_mapping"`
    TypeField             string                      `json:"type_field"`
    DefaultType           string                      `json:"default_type"`
    DefaultAnalyzer       string                      `json:"default_analyzer"`
    DefaultDateTimeParser string                      `json:"default_datetime_parser"`
    DefaultField          string                      `json:"default_field"`
    StoreDynamic          bool                        `json:"store_dynamic"`
    IndexDynamic          bool                        `json:"index_dynamic"`
    DocValuesDynamic      bool                        `json:"docvalues_dynamic"`
    CustomAnalysis        *customAnalysis             `json:"analysis,omitempty"`
    cache                 *registry.Cache
}

image.png

• TypeMapping：它是一個字符串到DocumentMapping指針的map。它的key是字符串，代表Document的類型。它的value是DocumentMapping的指針，用來定制該類型文檔的索引方式。
• DefaultMapping：它是DocumentMapping的指針。當TypeMapping沒有配置某類型文檔的DocumentMapping時，則該類文檔使用該默認的DocumentMapping。
• DefaultAnalyzer：默認的根節點Analyzer。由于每個DocumentMapping、每個DocumentField都可以配置自己的Analyzer，當處理某個Field時，優先使用最個性化的設置。找不到個性化的才使用默認的，一級一級往上找，直到這里。
• DefaultType：當一篇文檔未提供分類時，就會使用DefaultType設置的類型名稱，默認是“_default”，也可以修改。需要注意的是，一個文檔時DefaultType不等于它就要使用DefaultMapping，可以在TypeMapping中為DefaultType設置個性化的索引方式。

我們重點看下documentMapping

type DocumentMapping struct {
    Enabled         bool                        `json:"enabled"`
    Dynamic         bool                        `json:"dynamic"`
    Properties      map[string]*DocumentMapping `json:"properties,omitempty"`
    Fields          []*FieldMapping             `json:"fields,omitempty"`
    DefaultAnalyzer string                      `json:"default_analyzer,omitempty"`

    // StructTagKey overrides "json" when looking for field names in struct tags
    StructTagKey string `json:"struct_tag_key,omitempty"`
}

Fields (FieldMapping)就是具體字段定義

type FieldMapping struct {
    Name string `json:"name,omitempty"` //名稱
    Type string `json:"type,omitempty"` //類型

    Analyzer string `json:"analyzer,omitempty"` // 分詞器

    // Store indicates whether to store field values in the index. Stored
    // values can be retrieved from search results using SearchRequest.Fields.
    Store bool `json:"store,omitempty"` //保留原始值
    Index bool `json:"index,omitempty"` // 索引

    // IncludeTermVectors, if true, makes terms occurrences to be recorded for
    // this field. It includes the term position within the terms sequence and
    // the term offsets in the source document field. Term vectors are required
    // to perform phrase queries or terms highlighting in source documents.
    IncludeTermVectors bool   `json:"include_term_vectors,omitempty"`
    IncludeInAll       bool   `json:"include_in_all,omitempty"`
    DateFormat         string `json:"date_format,omitempty"`

    // DocValues, if true makes the index uninverting possible for this field
    // It is useful for faceting and sorting queries.
    DocValues bool `json:"docvalues,omitempty"`

    // SkipFreqNorm, if true, avoids the indexing of frequency and norm values
    // of the tokens for this field. This option would be useful for saving
    // the processing of freq/norm details when the default score based relevancy
    // isn't needed.
    SkipFreqNorm bool `json:"skip_freq_norm,omitempty"`

    // Dimensionality of the vector
    Dims int `json:"dims,omitempty"`

    // Similarity is the similarity algorithm used for scoring
    // vector fields.
    // See: index.DefaultSimilarityMetric & index.SupportedSimilarityMetrics
    Similarity string `json:"similarity,omitempty"`

    // Applicable to vector fields only - optimization string
    VectorIndexOptimizedFor string `json:"vector_index_optimized_for,omitempty"`
}

索引數據時，遍歷數據層級，組織doc文檔。

image.png

image.png