最近有個項目，需要讀取hive表中的數據寫到Hbase中，正好flink1.10版本剛出來，而且支持連接hive，那就他了。 哪想到這才是噩夢的開始。確定了技術棧，就開始著手...
發簡信
IP屬地：廣東
-
flink1.10連接hive1.1.0的填坑歷程 -
flink solt和并行度簡介 Flink運行時主要角色有兩個：JobManager和TaskManager，無論是standalone集群，flink on yarn都是要啟動這兩個角色。JobMa...
-
003.Nginx原理和配置1. Nginx原理 對于每個Worker進程來說，獨立的進程，不需要加鎖，所以省掉了鎖帶來的開銷 采用獨立的進程，互相之間不會相互影響，一個進程退出后，其他進程還在工作，服...
-
大數據之Ambari2.7+HDP3.0（一）公司目前在開展大數據業務，在大數據框架選型方面一直在Ambari+HDP 和CM+CDH之中徘徊。我就嘗試動手搭建了兩套環境來試試效果。接下來我會記錄搭建HDP和CDH環境的...
-
Spark整合HBase（自定義HBase DataSource）
背景 Spark支持多種數據源，但是Spark對HBase 的讀寫都沒有相對優雅的api，但spark和HBase整合的場景又比較多，故通過spark的DataSource ...
-
Kafka參數詳解及調優--消費者
引言 在實際的kafka開發中，我們會發現，無論是生產者還是消費者，都需要構建一個Properties對象，里面設置了很多參數。對于很多初學者來說，會看不懂這些參數分別代表什...
