IP屬地：廣東
-
hive更新UDF的正確步驟
1. 刪除原函數(shù)和jar包 1.1 在hive窗口e中執(zhí)行刪除原函數(shù) 1.2 在beeline中執(zhí)行刪除jar包 1.3 從hdfs上刪除jar...
-
在CDH環(huán)境集成Hudi一、Hudi簡介 Hudi是Hadoop Updates and Incrementals的縮寫，用于管理HDFS上的大型分析數(shù)據(jù)集存儲，主要目...
-
MongoDB數(shù)據(jù)增量同步到Hive（方案二通過MongoSpark）
一、背景 本文續(xù)接上文 MongoDB數(shù)據(jù)增量同步到Hive（方案一通過BSON文件映射）[http://www.lxweimin.com/p...
-
MongoDB數(shù)據(jù)增量同步到Hive（方案一通過BSON文件映射）
一、背景 隨著monggo中數(shù)據(jù)量越來越大，全量同步到數(shù)倉，已不太現(xiàn)實(shí)，考慮增量同步的方式，我們在探索增量同步的過程中，方案不斷在改進(jìn)優(yōu)化，這里...
-
mysql數(shù)據(jù)增量同步到hive
一、背景 同步業(yè)務(wù)庫的數(shù)據(jù)到ODS層，之前一直是全量同步數(shù)據(jù)，主要考慮IO太大，耗時(shí)太長，重復(fù)拉取同樣的數(shù)據(jù)，現(xiàn)在考慮增量同步的方式實(shí)現(xiàn)，同時(shí)對...
-
Spark高級編程之TopN及分組TopN
1、獲取文本內(nèi)最大的前三個(gè)數(shù)字輸入數(shù)據(jù)： 3544426732133542313523733216782156 1）Java版top3： 輸出結(jié)...
-
Spark高級編程之二次排序
原始數(shù)據(jù)： 2 63 71 52 43 61 32 13 1 1、Java版二次排序首先定義排序的key 然后實(shí)現(xiàn)二次排序 2、Scala版二次...
-
RDD講解1、RDD的創(chuàng)建的三種方式1）使用程序中的集合創(chuàng)建RDDjava版代碼如下： scala版代碼如下： 2）使用本地文件創(chuàng)建RDDwordcoun...
-
提交wordCount程序到spark集群上運(yùn)行1、Java版wordCount1）Java代碼： 2)打包代碼上傳到服務(wù)器 3）上傳文件到hdfs上去 4)使用spark-submit提交 ...