發簡信
IP屬地：廣東
-
Airflow Task 血緣分析血緣分析流程 Airflow 原生 CLI 與 REST API 服務，Airflow Task 血緣方式可以通過以下幾個步驟獲取： 通過 CL...
-
Hive SQL 元數據血緣管理模板概述 基于 Antlr4 編譯 hive 相關 xxx.g 文件生成對應的模板，如 hive 源碼中： 編譯完成生成對應 *.java 文件...
-
kafka exactly once 批處理簡介 這幾天，有個大兄弟問，如何實現 kafka 多線程批消費，目標： 確保 exactly once 語義 數據不丟失 支持定時同步，如15分...
-
十二、淘寶用戶行為數據示例
測試數據 User Behavior Data from Taobao for Recommendation
-
十一、Flink Table
簡介 Flink具有兩個關系API - 表API和SQL - 用于統一流和批處理。Table API是Scala和Java的語言集成查詢API，...
-
十、廣播變量
簡介 廣播變量理解為是一個公共的共享變量，我們可以把一個dataset 數據集廣播出去，然后不同的task在節點上都能夠獲取到，這個數據在每個節...
-
九、Kafka 消費位點
檢查點使得 Apache Flink 具有容錯能力，并確保了即時發生故障也能保證流應用程序的語義。檢查點是以固定的間隔來觸發的，該間隔可以在應用...
-
八、Kafka Connector
Flink-kafka-connector 讀寫kafkaKafka中的partition機制和Flink的并行度機制結合 實現數據恢復Kafk...
-
七、Flink Event Time Watermark
在 Apache Flink 中使用 watermark 的 4 個理解 在下文中的例子中，我們有一個帶有時間戳的事件流，但是由于某種原因它們并...