
??自從Flink出了FlinkCDC之后,我們對數據庫日志的采集就變得方便了許多了,除去了MaxWell、Cannel、OGG等第三方組件的繁...
??有時候,我們需要去連接數據庫,然后統計下目標庫表字段的值有多少個空值,并且計算出它的缺失率: ??這時候如果表中有幾個字段,并且總共統計的就...
??為了資源共用,我們的數據和上一篇文章一樣,這個實戰案例的技術和思想在現實開發的需求中還是比較常見的,以廣告為例子,需求是: 一、Kafka ...
??在之前的文章中我們使用 Flink 也實現過 topn 的案例;這里,為了溫習 Spark 如何訪問 kafka 以及 DStream 的操...
??有時候為了安全,我們的數據需要做一些加密操作,現實項目中也確實如此,加密的方式很多,那么我們今天就是用最常用的一種方式:AES加解密??這里...
??一般情況下,我們通用屬性一般都是寫在屬性文件中,然后通過configparser根據其鍵去獲取相對應的值,還有就是字典中比較key和valu...
??Python作為腳本語言,比shell和其它腳本更加好用,主要是Python提供了豐富的類庫,現在越來越多的框架都開啟了PyAPI,特別是機...
??我們實時的流處理入 ElasticSearch 中還是比較麻煩的,雖然說 flink 提供了相關的 sink 接口,但是一般來說僅僅是簡單的...
??這個案例是建立在上一篇的基礎之上,之所以做總結是因為網上很多都只是簡單的調用API而已,根本找不到優化過后的 sink 自定義方法,顯示的生...