Kafka 怎么就能存儲更長時間的數據了哪
Kappa架構什么是Kappa架構，直接看下圖： 和Lambda架構相比，它去掉了批處理引擎，直接使用流處理引擎，目標是做到流批一體。 Kappa流行的主要原因在于Kafka和Flink的...
發簡信
IP屬地：北京
-
數據化建設圖譜2.0來啦開篇前，我們先介紹一下 達克效應：能力欠缺的人在自己欠考慮的決定的基礎上得出錯誤結論，但是無法正確認識到自身的不足，辨別錯誤行為。這些能力欠缺者們沉浸在自我營造的虛幻的優勢之...
-
基于Flink的實時數據流構建業務詳解 處理數據主要包括的是從互聯網上采集來的數據,包括常見的新聞、微博、論壇、貼吧、博客、微博、微信等信源，對原始格式進行實時響應處理，以期望滿足業務系統使用，這便是當前...
-
Field Collapsing - 字段折疊
字段折疊 issues 不支持scroll 和search after的查詢方式 無法返回折疊后的總數目 查詢樣例 參數解釋 from: 這個的from是top hits結果...
-
分享一次詞典庫構建的流程詞典庫的含義 在深度學習中，如何在其中融入知識是一個研究非常火熱的課題。相比于 Bert, ERNIE中引入全詞Mask，達到了 SOTA,這也是引入啦知識 。因此詞典庫在底...
-
SearchAfter 之 score獲取
前言 ES的查詢經歷 from + size、Scroll、SearchAfter等方式,都是為了逐一解決查詢帶來的性能問題，目前search after的查分方式最優 使用...
-
關于Mysql(5.6)的一些思考事物級別 MySQL 默認事物級別是可重復讀；Oracle默認為讀已提交 事務級別的優先級：1：讀未提交 2：讀已提交 3：可重復讀 4：串行化 5：事務隔離的實現-可重復度...
-
update t1,t2
UPDATE crawl_weibo_data t1, lz_temp_channel t2 SET t1.channel_unique_id = t2.channel_un...
-
關于bert的一些思考
不存在詞庫中的字符編碼 選取 ~ 和 ﹌ 兩個字符(不在詞表中),分別進行編碼：bc.encode(['~','﹌'])>array([[-0.07489464, 0.16...
-
python簡易寫法
要求 input:4abababaabaxzxb3abaxzxbaboutput:210 簡易寫法：str_seq = [input() for s in range(int...
-
base64解密及解壓
在文本數據傳輸中,為防止編碼問題以及信息損失,可以先進行壓縮，在進行base64加密；示例如下：>> import zlib>> compressed = zlib.comp...
-
關于Matrix Script的解法以及正則總結
問題參照： https://www.hackerrank.com/challenges/matrix-script/problem 解題思路 將N * M矩陣轉轉化為具有順序...
-
python3.x print自定義連接符
print()函數默認是換行的,如何達到不換行的目的哪？請看下面的例子：>> for i in range(5):>> print(i+1,end='')>> 12...
-
python之常用函數
range 函數語法 range(start, stop[, step])參數說明：start: 計數從 start 開始。默認是從 0 開始。例如range（5）等價于ra...
-
ES集群重啟最佳實踐
線上集群規模 data節點：12單index大小：20GB ~ 40GB副本數：1索引數(按天拆分索引)：600 非安全重啟面臨的問題 直接kill掉節點，可能導致數據丟失集...
