一、背景
同步業務庫的數據到ODS層，之前一直是全量同步數據，主要考慮IO太大，耗時太長，重復拉取同樣的數據，現在考慮增量同步的方式實現，同時對庫表數據做分區。
二、同步方案
增量同步主要分為兩步，第一步，存量數據一次性同步；第二步，在存量數據的基礎之上，做增量；后期的每一次同步都是增量同步。以下是具體同步方案：
1）MYSQL存量數據同步
用Sqoop同步表中全部數據到Hive表中；
2）MYSQL增量數據同步
a．根據hive中最大更新時間，用Sqoop提取更新時間為這個時間之后的增量數據；
三、用sqoop實現mysql數據增量同步到數倉
1、存量數據同步，腳本如下：
1）獲取表的所有列，把datetime和timestamp類型，統一在java中映射成TIMESTAMP類型，腳本如下：
getcloumns(){
a=''
b=false
cloumns=''
#sqoop eval --connect $conn --username $uname --password $pwd --query 'desc '$table
result=`sqoop eval --connect $conn --username $uname --password $pwd --query 'desc '$table `
for line in $result
do
if [ ${line} == '|' ]; then
continue
fi
if [ ${line} == '---------------------------------------------------------------------------------------------------------' ]; then
b=true
fi
if [ ${b} == 'false' ]; then
continue
fi
if [ ${line} == 'datetime' ] || [ ${line} == 'timestamp' ]; then
if [[ ${cloumns} != '' ]]; then
cloumns=$cloumns','
fi
cloumns=$cloumns$a'=TIMESTAMP'
fi
a=$line
done
echo $cloumns
}
2） 用sqoop import拉取數據，腳本如下：
rcloumns=$(getcloumns)
hive_database="mysql_"$database
hive_table=$table
sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true \
--connect $conn \ #連接地址
--username $uname \
--password $pwd \
--table $table \
--delete-target-dir \ #首次同步，清空目標目錄
--fields-terminated-by '\001' \ # 指定列分隔符
--lines-terminated-by "\n" \ # 指定行分隔符
--hive-import \ #直達hive庫表，不需要從HDFS映射建表
--hive-overwrite \ #覆蓋模式
--create-hive-table \ # sqoop自動建表
--hive-database "$hive_database" \ #指定hive 庫
--hive-table "$hive_table" \ #指定hive表名
--m 1 \ #指定map任務個數
--hive-drop-import-delims \ # 刪除特殊字符
--null-string '\\N' \ #空字符在hive中轉義
--null-non-string '\\N' \ #空字符在hive中轉義
--map-column-hive $rcloumns
2、增量數據同步
1）創建增量同步的sqoop job，腳本如下：
a、從hive中獲取表的最大更新時間
sql="select max(update_time) from mysql_"$database"."$table";"
if [[ $? -ne 0 ]];then
exit 1
fi
echo $sql
result=`hive -e "$sql"`
if [[ $? -ne 0 ]];then
exit 1
fi
echo "result="$result
last_value=${result:0-19}
echo "last_value="$last_value
b、以上面獲取的最大更新時間，作為起點，創建sqoop job，腳本如下：
jobname="myjob_"$database"_"$table
echo $jobname
hive_database="mysql_"$database
warehouse_dir='/user/hive/warehouse/'$hive_database'.db/'
sqoop job \
--create $jobname \
-- import \
--connect $conn \
--username $uname \
--password $pwd \
--table $table \
--fields-terminated-by '\001' \
--lines-terminated-by "\n" \
--input-fields-terminated-by '\001' \
--input-lines-terminated-by "\n" \
--warehouse-dir $warehouse_dir \
--incremental lastmodified \
--check-column update_time \
--merge-key id \
--last-value "$last_value" \
--m 1 \
--hive-drop-import-delims \
--null-string '\\N' \
--null-non-string '\\N' \
--input-null-string '\\N' \
--input-null-non-string '\\N'
c、創建sqoop job之后，就是執行job了，腳本如下：
sqoop job -exec jobName
