Elasticsearch
開源的 Elasticsearch 是目前全文搜索引擎的首選。
它可以快速地儲存、搜索和分析海量數據。維基百科、Stack Overflow、Github 都采用它。
Elasticsearch 的底層是開源庫 Lucene。但是,你沒法直接用 Lucene,必須自己寫代碼去調用它的接口。Elastic 是 Lucene 的封裝,提供了 REST API 的操作接口,開箱即用。
Elasticsearch 是用Java實現的。
搜索引擎在對數據構建索引時,需要進行分詞處理。分詞是指將一句話拆解成多個單字或詞,這些字或詞便是這句話的關鍵詞。如
我是中國人。
'我'、'是'、'中'、'國'、'人'、'中國'等都可以是這句話的關鍵詞。
Elasticsearch 不支持對中文進行分詞建立索引,需要配合擴展elasticsearch-analysis-ik來實現中文分詞處理。
4. 使用Docker安裝Elasticsearch及其擴展
獲取鏡像,可以通過網絡pull
docker image pull delron/elasticsearch-ik:2.4.6-1.0
或者加載提供給大家的鏡像文件
docker load -i elasticsearch-ik-2.4.6_docker.tar
修改elasticsearch的配置文件 elasticsearc-2.4.6/config/elasticsearch.yml第54行,更改ip地址為本機ip地址
network.host: 10.211.55.5
創建docker容器運行
docker run -dti --network=host --name=elasticsearch -v /home/python/elasticsearch-2.4.6/config:/usr/share/elasticsearch/config delron/elasticsearch-ik:2.4.6-1.0
5. 使用haystack對接Elasticsearch
Haystack為Django提供了模塊化的搜索。它的特點是統一的,熟悉的API,可以讓你在不修改代碼的情況下使用不同的搜索后端(比如 Solr, Elasticsearch, Whoosh, Xapian 等等)。
我們在django中可以通過使用haystack來調用Elasticsearch搜索引擎。
1)安裝
pip install drf-haystack
pip install elasticsearch==2.4.1
drf-haystack是為了在REST framework中使用haystack而進行的封裝(如果在Django中使用haystack,則安裝django-haystack即可)。
2)注冊應用
INSTALLED_APPS = [
...
'haystack',
...
]
3)配置
在配置文件中配置haystack使用的搜索引擎后端
# Haystack
HAYSTACK_CONNECTIONS = {
'default': {
'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',
'URL': 'http://10.211.55.5:9200/', # 此處為elasticsearch運行的服務器ip地址,端口號固定為9200
'INDEX_NAME': 'meiduo', # 指定elasticsearch建立的索引庫的名稱
},
}
# 當添加、修改、刪除數據時,自動生成索引
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'
注意:
HAYSTACK_SIGNAL_PROCESSOR 的配置保證了在Django運行起來后,有新的數據產生時,haystack仍然可以讓Elasticsearch實時生成新數據的索引
4)創建索引類
通過創建索引類,來指明讓搜索引擎對哪些字段建立索引,也就是可以通過哪些字段的關鍵字來檢索數據。
在goods應用中新建search_indexes.py文件,用于存放索引類
from haystack import indexes
from .models import SKU
class SKUIndex(indexes.SearchIndex, indexes.Indexable):
"""
SKU索引數據模型類
"""
text = indexes.CharField(document=True, use_template=True)
id = indexes.IntegerField(model_attr='id')
name = indexes.CharField(model_attr='name')
price = indexes.DecimalField(model_attr='price')
default_image_url = indexes.CharField(model_attr='default_image_url')
comments = indexes.IntegerField(model_attr='comments')
def get_model(self):
"""返回建立索引的模型類"""
return SKU
def index_queryset(self, using=None):
"""返回要建立索引的數據查詢集"""
return self.get_model().objects.filter(is_launched=True)
在SKUIndex建立的字段,都可以借助haystack由elasticsearch搜索引擎查詢。
其中text字段我們聲明為document=True,表名該字段是主要進行關鍵字查詢的字段, 該字段的索引值可以由多個數據庫模型類字段組成,具體由哪些模型類字段組成,我們用use_template=True表示后續通過模板來指明。其他字段都是通過model_attr選項指明引用數據庫模型類的特定字段。
在REST framework中,索引類的字段會作為查詢結果返回數據的來源。
6)在templates目錄中創建text字段使用的模板文件
具體在templates/search/indexes/goods/sku_text.txt文件中定義
{{ object.name }}
{{ object.caption }}
{{ object.id }}
此模板指明當將關鍵詞通過text參數名傳遞時,可以通過sku的name、caption、id來進行關鍵字索引查詢。
7)手動生成初始索引
python manage.py rebuild_index
8)創建序列化器
在goods/serializers.py中創建haystack序列化器
from drf_haystack.serializers import HaystackSerializer
class SKUIndexSerializer(HaystackSerializer):
"""
SKU索引結果數據序列化器
"""
class Meta:
index_classes = [SKUIndex]
fields = ('text', 'id', 'name', 'price', 'default_image_url', 'comments')
注意fields屬性的字段名與SKUIndex類的字段對應。
9)創建視圖
在goods/views.py中創建視圖
from drf_haystack.viewsets import HaystackViewSet
class SKUSearchViewSet(HaystackViewSet):
"""
SKU搜索
"""
index_models = [SKU]
serializer_class = SKUIndexSerializer
注意:
- 該視圖會返回搜索結果的列表數據,所以如果可以為視圖增加REST framework的分頁功能。
- 我們在實現商品列表頁面時已經定義了全局的分頁配置,所以此搜索視圖會使用全局的分頁配置。
返回的數據舉例如下:
{
"count": 10,
"next": "http://api.meiduo.site:8000/skus/search/?page=2&text=%E5%8D%8E",
"previous": null,
"results": [
{
"text": "華為 HUAWEI P10 Plus 6GB+64GB 鉆雕金 移動聯通電信4G手機 雙卡雙待\nwifi雙天線設計!徠卡人像攝影!P10徠卡雙攝拍照,低至2988元!\n9",
"id": 9,
"name": "華為 HUAWEI P10 Plus 6GB+64GB 鉆雕金 移動聯通電信4G手機 雙卡雙待",
"price": "3388.00",
"default_image_url": "http://10.211.55.5:8888/group1/M00/00/02/CtM3BVrRcUeAHp9pAARfIK95am88523545",
"comments": 0
},
{
"text": "華為 HUAWEI P10 Plus 6GB+128GB 鉆雕金 移動聯通電信4G手機 雙卡雙待\nwifi雙天線設計!徠卡人像攝影!P10徠卡雙攝拍照,低至2988元!\n10",
"id": 10,
"name": "華為 HUAWEI P10 Plus 6GB+128GB 鉆雕金 移動聯通電信4G手機 雙卡雙待",
"price": "3788.00",
"default_image_url": "http://10.211.55.5:8888/group1/M00/00/02/CtM3BVrRchWAMc8rAARfIK95am88158618",
"comments": 5
}
]
}
10)定義路由
通過REST framework的router來定義路由
router = DefaultRouter()
router.register('skus/search', views.SKUSearchViewSet, base_name='skus_search')
...
urlpatterns += router.urls
11)測試
我們可以GET方法訪問如下鏈接進行測試
http://api.meiduo.site:8000/skus/search/?text=wifi
http://api.meiduo.site:8000/skus/search/?id=1
http://api.meiduo.site:8000/skus/search/?name=iphone