electricsearch

Elasticsearch

開源的 Elasticsearch 是目前全文搜索引擎的首選。
它可以快速地儲存、搜索和分析海量數據。維基百科、Stack Overflow、Github 都采用它。
Elasticsearch 的底層是開源庫 Lucene。但是,你沒法直接用 Lucene,必須自己寫代碼去調用它的接口。Elastic 是 Lucene 的封裝,提供了 REST API 的操作接口,開箱即用。
Elasticsearch 是用Java實現的。
搜索引擎在對數據構建索引時,需要進行分詞處理。分詞是指將一句話拆解成多個單字或詞,這些字或詞便是這句話的關鍵詞。如

我是中國人。

'我'、'是'、'中'、'國'、'人'、'中國'等都可以是這句話的關鍵詞。
Elasticsearch 不支持對中文進行分詞建立索引,需要配合擴展elasticsearch-analysis-ik來實現中文分詞處理。

4. 使用Docker安裝Elasticsearch及其擴展

獲取鏡像,可以通過網絡pull

docker image pull delron/elasticsearch-ik:2.4.6-1.0

或者加載提供給大家的鏡像文件

docker load -i elasticsearch-ik-2.4.6_docker.tar

修改elasticsearch的配置文件 elasticsearc-2.4.6/config/elasticsearch.yml第54行,更改ip地址為本機ip地址

network.host: 10.211.55.5

創建docker容器運行

docker run -dti --network=host --name=elasticsearch -v /home/python/elasticsearch-2.4.6/config:/usr/share/elasticsearch/config delron/elasticsearch-ik:2.4.6-1.0

5. 使用haystack對接Elasticsearch

Haystack為Django提供了模塊化的搜索。它的特點是統一的,熟悉的API,可以讓你在不修改代碼的情況下使用不同的搜索后端(比如 Solr, Elasticsearch, Whoosh, Xapian 等等)。
我們在django中可以通過使用haystack來調用Elasticsearch搜索引擎。
1)安裝

pip install drf-haystack
pip install elasticsearch==2.4.1

drf-haystack是為了在REST framework中使用haystack而進行的封裝(如果在Django中使用haystack,則安裝django-haystack即可)。
2)注冊應用

INSTALLED_APPS = [
    ...
    'haystack',
    ...
]

3)配置
在配置文件中配置haystack使用的搜索引擎后端

# Haystack
HAYSTACK_CONNECTIONS = {
    'default': {
        'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',
        'URL': 'http://10.211.55.5:9200/',  # 此處為elasticsearch運行的服務器ip地址,端口號固定為9200
        'INDEX_NAME': 'meiduo',  # 指定elasticsearch建立的索引庫的名稱
    },
}

# 當添加、修改、刪除數據時,自動生成索引
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'

注意:
HAYSTACK_SIGNAL_PROCESSOR 的配置保證了在Django運行起來后,有新的數據產生時,haystack仍然可以讓Elasticsearch實時生成新數據的索引
4)創建索引類
通過創建索引類,來指明讓搜索引擎對哪些字段建立索引,也就是可以通過哪些字段的關鍵字來檢索數據。
在goods應用中新建search_indexes.py文件,用于存放索引類

from haystack import indexes
from .models import SKU
class SKUIndex(indexes.SearchIndex, indexes.Indexable):
    """
    SKU索引數據模型類
    """
    text = indexes.CharField(document=True, use_template=True)
    id = indexes.IntegerField(model_attr='id')
    name = indexes.CharField(model_attr='name')
    price = indexes.DecimalField(model_attr='price')
    default_image_url = indexes.CharField(model_attr='default_image_url')
    comments = indexes.IntegerField(model_attr='comments')

    def get_model(self):
        """返回建立索引的模型類"""
        return SKU
    def index_queryset(self, using=None):
        """返回要建立索引的數據查詢集"""
        return self.get_model().objects.filter(is_launched=True)

在SKUIndex建立的字段,都可以借助haystack由elasticsearch搜索引擎查詢。
其中text字段我們聲明為document=True,表名該字段是主要進行關鍵字查詢的字段, 該字段的索引值可以由多個數據庫模型類字段組成,具體由哪些模型類字段組成,我們用use_template=True表示后續通過模板來指明。其他字段都是通過model_attr選項指明引用數據庫模型類的特定字段。
在REST framework中,索引類的字段會作為查詢結果返回數據的來源。
6)在templates目錄中創建text字段使用的模板文件
具體在templates/search/indexes/goods/sku_text.txt文件中定義

{{ object.name }}
{{ object.caption }}
{{ object.id }}

此模板指明當將關鍵詞通過text參數名傳遞時,可以通過sku的name、caption、id來進行關鍵字索引查詢。
7)手動生成初始索引

python manage.py rebuild_index

8)創建序列化器
在goods/serializers.py中創建haystack序列化器

from drf_haystack.serializers import HaystackSerializer
class SKUIndexSerializer(HaystackSerializer):
    """
    SKU索引結果數據序列化器
    """
    class Meta:
        index_classes = [SKUIndex]
        fields = ('text', 'id', 'name', 'price', 'default_image_url', 'comments')

注意fields屬性的字段名與SKUIndex類的字段對應。
9)創建視圖
在goods/views.py中創建視圖

from drf_haystack.viewsets import HaystackViewSet
class SKUSearchViewSet(HaystackViewSet):
    """
    SKU搜索
    """
    index_models = [SKU]
    serializer_class = SKUIndexSerializer
注意:
  • 該視圖會返回搜索結果的列表數據,所以如果可以為視圖增加REST framework的分頁功能。
  • 我們在實現商品列表頁面時已經定義了全局的分頁配置,所以此搜索視圖會使用全局的分頁配置。
    返回的數據舉例如下:
{
    "count": 10,
    "next": "http://api.meiduo.site:8000/skus/search/?page=2&text=%E5%8D%8E",
    "previous": null,
    "results": [
        {
            "text": "華為 HUAWEI P10 Plus 6GB+64GB 鉆雕金 移動聯通電信4G手機 雙卡雙待\nwifi雙天線設計!徠卡人像攝影!P10徠卡雙攝拍照,低至2988元!\n9",
            "id": 9,
            "name": "華為 HUAWEI P10 Plus 6GB+64GB 鉆雕金 移動聯通電信4G手機 雙卡雙待",
            "price": "3388.00",
            "default_image_url": "http://10.211.55.5:8888/group1/M00/00/02/CtM3BVrRcUeAHp9pAARfIK95am88523545",
            "comments": 0
        },
        {
            "text": "華為 HUAWEI P10 Plus 6GB+128GB 鉆雕金 移動聯通電信4G手機 雙卡雙待\nwifi雙天線設計!徠卡人像攝影!P10徠卡雙攝拍照,低至2988元!\n10",
            "id": 10,
            "name": "華為 HUAWEI P10 Plus 6GB+128GB 鉆雕金 移動聯通電信4G手機 雙卡雙待",
            "price": "3788.00",
            "default_image_url": "http://10.211.55.5:8888/group1/M00/00/02/CtM3BVrRchWAMc8rAARfIK95am88158618",
            "comments": 5
        }
    ]
}

10)定義路由
通過REST framework的router來定義路由

router = DefaultRouter()
router.register('skus/search', views.SKUSearchViewSet, base_name='skus_search')
...
urlpatterns += router.urls

11)測試
我們可以GET方法訪問如下鏈接進行測試

http://api.meiduo.site:8000/skus/search/?text=wifi
http://api.meiduo.site:8000/skus/search/?id=1
http://api.meiduo.site:8000/skus/search/?name=iphone
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,412評論 6 532
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,514評論 3 416
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 176,373評論 0 374
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,975評論 1 312
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,743評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,199評論 1 324
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,262評論 3 441
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,414評論 0 288
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,951評論 1 336
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,780評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,983評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,527評論 5 359
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,218評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,649評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,889評論 1 286
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,673評論 3 391
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,967評論 2 374

推薦閱讀更多精彩內容