doc特征結構化—query特征結構化

項目需求

結構化的目的:由于文檔、query中的信息都是參數化是人可讀,但機器不方便機器自動化處理,所以需要結構化。——結構化,為特征工程提供輸入。經過特工程,就可以喂給模型進行訓練了。

所謂結構化,是將原本不規整的數據,轉換成規整的數據。例如:10萬公里->10;1_2->102;parameter110:13->13;

需求分析:

1. 結構化的數據源,有HBASE ;OlineDB 。——數據內容分:doc數據;類目表、地域表等數據。

2.滿足分布式;與多線程 兩種場景

3.多個類目,三端app pc m?

4. 復用;解耦;方便測試——分布式場景,一般不方便測試

5.類似業務,架構統一,方便維護

6.配置簡單


方案設計:

目錄結構設計:

架構圖:

類圖:


時序圖:


最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容