背景介紹
在論壇類型的數據中,特別是涉及到可能有大量營銷號的時候,有個要面對的情況就是,要如何對數據進行"去重".這個去重并非真正的去重,而是說去掉人眼認為大量"相同的"數據.營銷號們將一條內容反復發布數次,就會造成在召回結果中的某一頁(可能是幾頁)充斥著大量看過去就一模一樣的內容,這些內容在數據的意義上是不同的,但是在用戶體驗上,他們就屬于應該被折疊的內容.
思路方案
首先最重要的一點還是要定義什么樣的數據算重復這個問題.借助優秀的團隊分工,有算法組的同事通過響應算法對數據進行打標,將算法判定為重復的數據打上相同的id,也就是說,余下的問題可以簡化為,我們如何在做數據召回的時候,做到相同重復id的數據只召回一條.
這里有兩種方案
- top_hits + 聚合統計agg
- es5以后的新特性collapse
這里主要介紹方案2,方案1測試完就不考慮了,性能慢的令人發指.
實施過程
首先還是我們準備好數據,索引庫的數據類似以下的結構
{
"_id": xxxx,
......
"dumplicate_id"
}
_id是數據的主鍵,而dumplicate_id則是我們的重復組id.接下來的工作就是,在召回過程中屏折疊重復數據.接下來放上召回es語句的demo
{
"from": 0,
"size": 12,
"query": {
"bool": {
"should": [{
"match": {
"field1": {
"query": "aaa",
"operator": "OR",
"prefix_length": 0,
"max_expansions": 50,
"fuzzy_transpositions": true,
"lenient": false,
"zero_terms_query": "NONE",
"auto_generate_synonyms_phrase_query": true,
"boost": 1.0
}
}
}, {
"match": {
"field2": {
"query": "aaa",
"operator": "OR",
"prefix_length": 0,
"max_expansions": 50,
"fuzzy_transpositions": true,
"lenient": false,
"zero_terms_query": "NONE",
"auto_generate_synonyms_phrase_query": true,
"boost": 0.1
}
}
}],
"adjust_pure_negative": true,
"minimum_should_match": "1",
"boost": 1.0
}
},
"collapse": {
"field": "duplicate_id", //要進行折疊的字段
"inner_hits": { //折疊的參數集
"name": "test", //折疊的name,目前沒有發現哪里有用到的地方,可能在多個折疊情況下有用
"ignore_unmapped": true, //默認為false,如果存在一些數據沒有折疊字段的會報錯,設置為true可以避免類似的報錯
"from": 0,
"size": 0, //from和size用來控制想要返回的折疊列表,這里我的需求是重復id相同僅返回頭條,所以兩個參數均設置為0,如果有需求折疊列表的可以通過這里控制
"version": false,
"explain": false,
"track_scores": true,
"sort": [{ //折疊列表的排序,折疊列表中要把誰顯示在第一個的排序,比如這樣做是將該折疊列表的數據按字段level倒序排列.
"level": {
"order": "desc"
}
}]
}
}
}
collapse是和from,size,query等結構是同級并列的情況,耗時上也非常可觀,它并不是在整個索引庫里面進行折疊,而是在召回結果拿到以后再進行的折疊,效率上肯定比方案1的top_hits+agg來的高效,而且這個也是es5專門為這個場景設計的功能.
最后放上java代碼如何使用api的demo
CollapseBuilder collapseBuilder = new CollapseBuilder("duplicate_id");
InnerHitBuilder innerHitBuilder = new InnerHitBuilder();
innerHitBuilder.setName("test");
innerHitBuilder.setSize(0);
innerHitBuilder.setTrackScores(true);
innerHitBuilder.setIgnoreUnmapped(true);
innerHitBuilder.addSort(SortBuilders.fieldSort("level").order(SortOrder.DESC));
collapseBuilder.setInnerHits(innerHitBuilder);
......
srb = client.prepareSearch(indexName)
.setTypes(typeName)
.setQuery(bqb)
.setFrom(params.getFrom())
.setSize(params.getSize())
.setCollapse(collapseBuilder)
.setPreference("_primary_first");
