Sqoop

Apache Sqoop is a tool designed for efficiently transferring bulk data between?Apache Hadoop?and structured datastores such as relational databases.

Sqoop是RDBMS和Hadoop之間的一個橋梁RDBMS<<==>>Hadoop

平時說的導入導出都是以Hadoop為基準，即

導入：RDBMS==>>Hadoop

導出：RDBMS<<==Hadoop

http://sqoop.apache.org/

Sqoop底層是通過MapReduce來實現的，而且只有map沒有reduce，只負責數據的遷移

一、sqoop-1.4.6-cdh5.7.0部署

1）下載

下載地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.0.tar.gz

2）解壓

[hadoop@hadoop001 software]$?tar -zxvf sqoop-1.4.6-cdh5.7.0.tar.gz -C ~/app

3）配環境變量

[hadoop@hadoop001 ~]$ vi .bash_profile

export SQOOP_HOME=/home/hadoop/app/sqoop-1.4.6-cdh5.7.0

export PATH=$SQOOP_HOME/bin:$PATH

[hadoop@hadoop001 ~]$ source .bash_profile

[hadoop@hadoop001 ~]$ which sqoop

~/app/sqoop-1.4.6-cdh5.7.0/bin/sqoop

4）修改sqoop配置文件

[hadoop@hadoop001 ~]$ cd $SQOOP_HOME/conf

[hadoop@hadoop001 conf]$ cp sqoop-env-template.sh sqoop-env.sh

[hadoop@hadoop001 conf]$ vi sqoop-env.sh

export HADOOP_COMMON_HOME=/home/hadoop/app/hadoop-2.6.0

export HADOOP_MAPRED_HOME=/home/hadoop/app/hadoop-2.6.0

export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0

5）copy? mysql驅動到$SQOOP_HOME/lib

6）查看幫助

[hadoop@hadoop001 bin]$ sqoop help

warning不用管，因為用不到，所以hbase、zookeeper等沒有配

[hadoop@hadoop001 bin]$ sqoop version

[hadoop@hadoop001 bin]$ sqoop list-databases \

> --connect jdbc:mysql://localhost:3306 \

> --username root --password 123456

mysql中驗證一下：

[hadoop@hadoop001 bin]$ sqoop list-tables \

> --connect jdbc:mysql://localhost:3306/ruozedata_basic03 \

> --username root --password 123456

查看mysql

二、常用命令

1.RDBMS==>HDFS導入? ?import

1）--connect? ? ??

Specify JDBC connect string??指定JDBC連接字符串

2）--username <username>

Set authentication?username??設置身份驗證的用戶名

3）--password <password>

Set authentication?password??設置身份驗證密碼

4）--append

Imports data?in append mode? 已追加的方式導入數據

5）--as-textfile

Imports data?as plain?text?(default)??導入數據為純文本(默認)

6）--columns <col,col,col...>

Columns to?import from?table? 選擇要從表導入的列

7）--delete-target-dir

Imports data?in delete mode? 先刪除已有的數據，再導入

8）-e,--query <statment>

Import?results of?SQL?'statement'??導入SQL 'statement'的結果

9）-m,--num-mappers <n>

Use 'n' map?tasks to?import in?parallel?使用n個映射任務并行導入

10）--mapreduce-job-name <name>

Set name for?generated?mapreduce job??為生成的mapreduce作業設置名稱

11）--table <table-name>

Table to read

12）--target-dir <dir>?

HDFS plain?table?destination

13）--where <where clause>

WHERE clause?to use?during?import

14）--fields-terminated-by? <char>

?Sets the field separator character??設置字段分隔符

15）--lines-terminated-by <char>

?Sets the end-of-line character??設置行尾字符

16）--input-fields-terminated-by?<char>

Sets the input field separator??設置輸入字段分隔符

?--input-lines-terminated-by <char>

?Sets the input end-of-line char?設置輸入的行尾字符

17）--create-hive-table

Fail if the target hive?table exists （一般不用）

18）--hive-import

Import tables into Hive? (Uses Hive's default delimiters if none are set.)? 將表導入到Hive中(如果沒有設置，則使用Hive的默認分隔符)

19）--hive-overwrite

Overwrite existing data in?the Hive table

20）--hive-partition-key <partition-key>

Sets the partition key to?use when importing to hive

設置在導入hive時使用的分區鍵

21）--hive-partition-value <partition-value>

Sets the partition value to?use when importing to hive

設置在導入到hive時要使用的分區值

實戰如下：

1）在mysql中新建一個數據庫hivetomysql，并新建一張表emp

create database?hivetomysql;

create table emp (

empno int,

ename varchar(100),

job varchar(100),

mgr int,

hiredate varchar(100),

salary double,

comm double,

deptno int);

2）將hive中ruozedata數據庫下的ruozedata_emp導出至mysql的表emp中

sqoop export \

--connect jdbc:mysql://localhost:3306/hivetomysql \

--username root --password 123456 \

--table emp \

--export-dir \hdfs://192.168.137.141:9000/user/hive/warehouse/ruozedata.db/ruozedata_emp \

--input-fields-terminated-by '\t';

若沒有--input-fields-terminated-by '\t'這句，MapReduce會運行失敗，報錯如下：

MapReduce運行日志保存在$HADOOP_HOME/logs/user logs下，MapReduce報錯時可查看相應任務的日志來找到錯誤

加上--input-fields-terminated-by '\t'這句之后，運行成功

3）將emp表格導入到hadoop

a）

sqoop import \

--connect jdbc:mysql://localhost:3306/hivetomysql \

--username root --password 123456 \

--table emp;

再次報錯，提示表格emp沒有主鍵，需要給emp表格增加主鍵

mysql> ALTER TABLE emp

? ? -> ADD PRIMARY KEY (empno);

增加主鍵后再次執行命令，導入成功

默認的splits是4

[hadoop@hadoop001 ~]$ hadoop fs -ls emp

-rw-r--r-- 1 hadoop supergroup 0 2018-06-18 22:05 emp/_SUCCESS

-rw-r--r--? 1 hadoop supergroup? ? ? ? 297 2018-06-18 22:05 emp/part-m-00000

-rw-r--r--? 1 hadoop supergroup? ? ? ? 386 2018-06-18 22:05 emp/part-m-00001

-rw-r--r--? 1 hadoop supergroup? ? ? ? ? 0 2018-06-18 22:05 emp/part-m-00002

-rw-r--r--? 1 hadoop supergroup? ? ? ? 51 2018-06-18 22:05 emp/part-m-00003

果然是被拆分成了四個文件

這15條數據是怎么分配的呢？

##補充：hadoop fs -ls 和hadoop fs -ls /user/hadoop進的是同一目錄

b）

sqoop import \

--connect jdbc:mysql://localhost:3306/hivetomysql \

--username root --password 123456 \

--table emp \

-m 2 \

--mapreduce-job-name FromMySQLToHDFS;

（將split改為2，并把MapReduce的job名稱命名為?FromMySQLToHDFS）

報錯：ERROR tool.ImportTool: Encountered IOException running import job: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://192.168.137.141:9000/user/hadoop/emp already exists

emp已經存在

需要加一個語句

sqoop import \

--connect jdbc:mysql://localhost:3306/hivetomysql \

--username root --password 123456 \

--table emp \

-m 2 \

--mapreduce-job-name FromMySQLToHDFS \

--delete-target-dir;

導入成功，并且可以看到number of splits變成了2

打開yarn查看任務

c）

sqoop import \

--connect jdbc:mysql://localhost:3306/hivetomysql \

--username root --password 123456 \

--table emp \

-m 2 \

--mapreduce-job-name FromMySQLToHDFS \

--delete-target-dir \

--columns "empno,ename,job,salary,comm" \

--target-dir EMP_COLUMN;

d）

sqoop import \

--connect jdbc:mysql://localhost:3306/hivetomysql \

--username root --password 123456 \

--table emp \

-m 2 \

--mapreduce-job-name FromMySQLToHDFS \

--delete-target-dir \

--columns "empno,ename,job,salary,comm" \

--target-dir EMP_COLUMN_SPLIT \

--fields-terminated-by '\t' \

--null-string '' --null-non-string '0';

分隔符變為‘\t’（tab鍵），null變為空，非null字符串變為0

e）

sqoop import \

--connect jdbc:mysql://localhost:3306/hivetomysql \

--username root --password 123456 \

--table emp \

-m 2 \

--mapreduce-job-name FromMySQLToHDFS \

--delete-target-dir \

--columns "empno,ename,job,salary,comm" \

--target-dir EMP_COLUMN_WHERE \

--fields-terminated-by '\t' \

--where 'salary>2000';

f）

sqoop import \

--connect jdbc:mysql://localhost:3306/hivetomysql \

--username root --password 123456 \

--table emp \

-m 2 \

--mapreduce-job-name FromMySQLToHDFS \

--delete-target-dir \

--target-dir EMP_COLUMN_QUERY \

--fields-terminated-by '\t' \

--query 'SELECT * FROM emp WHERE empno>=7566';

報錯：Cannot specify --query and --table together.

--query和?--table不可以同時出現，因為query語法里有可能是多表查詢

sqoop import \

--connect jdbc:mysql://localhost:3306/hivetomysql \

--username root --password 123456 \

-m 2 \

--mapreduce-job-name FromMySQLToHDFS \

--delete-target-dir \

--target-dir EMP_COLUMN_QUERY \

--fields-terminated-by '\t' \

--query 'SELECT * FROM emp WHERE empno>=7566';

報錯：When importing query results in parallel, you must specify --split-by.

sqoop import \

--connect jdbc:mysql://localhost:3306/hivetomysql \

--username root --password 123456 \

-m 2 \

--mapreduce-job-name FromMySQLToHDFS \

--delete-target-dir \

--target-dir EMP_COLUMN_QUERY \

--fields-terminated-by '\t' \

--query 'SELECT * FROM emp WHERE empno>=7566' \

--split-by 'empno';

繼續報錯： must contain '$CONDITIONS' in WHERE clause.

sqoop import \

--connect jdbc:mysql://localhost:3306/hivetomysql \

--username root --password 123456 \

-m 2 \

--mapreduce-job-name FromMySQLToHDFS \

--delete-target-dir \

--target-dir EMP_COLUMN_QUERY \

--fields-terminated-by '\t' \

--query 'SELECT * FROM emp WHERE empno>=7566 AND $CONDITIONS' \

--split-by 'empno';

終于成功了

g）命令封裝

上邊的例子命令太長了，可否封裝到一個腳本里呢？

[hadoop@hadoop001 ~]$ cd shell

[hadoop@hadoop001 shell]$ vi emp.opt

import

--connect

jdbc:mysql://localhost:3306/hivetomysql

--username

root

--password

123456

--table

emp

--delete-target-dir

[hadoop@hadoop001 shell]$ sqoop --options-file emp.opt

2.export? ? ? ? ? ? ? ? RDBMS<<==HDFS

現在mysql中新建一張表emp_demo，且只需要表結構

mysql> create table emp_demo as select * from emp where 1=2;

[hadoop@hadoop001 bin]$ sqoop export \

--connect jdbc:mysql://localhost:3306/hivetomysql \

--username root --password 123456 \

--mapreduce-job-name FromHDFSToMySQL \

--table emp_demo \

--export-dir /user/hadoop/emp

3.RDBMS==>Hive? ?

1）導入普通表

sqoop import \

--connect jdbc:mysql://localhost:3306/hivetomysql \

--username root --password 123456 \

--table emp \

--mapreduce-job-name FromMySQLToHive \

--delete-target-dir \

--create-hive-table \? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（直接自動創建一張表，不建議使用，問題見后續講解）

--hive-database ruozedata \

--hive-table emp_sqoop \

--hive-import

.ClassNotFoundException: org.apache.hadoop.hive.shims.ShimLoader

可能會遇到上面兩種報錯的情況，原因是缺少jar包

解決方法：

[hadoop@hadoop001 conf]$ vi sqoop-env.sh

export HADOOP_CLASSPATH=/home/hadoop/app/hive-1.1.0-cdh5.7.0/lib/*

再次運行，繼續報錯：

數據庫不存在？！

解決辦法：將$HIVE_HOME/conf下的hive-site.xml拷貝至$SQOOP/HOME/conf

再次運行，成功

為什么說不建議使用--create-hive-table命令呢？

可以看到自動創建的表格是根據mysql中數據的字段類型來確定hive表中的字段類型的，本表中salary和comm都帶小數點，所以，hive表中，salary和comm的字段類型為double。

假如最開始導入的salary和comm的數據中沒有小數點，都是整數，如：

sal和comm便被默認為int類型，往后再插入帶小數點的數據就會出現問題，因此最好事先創建一個hive表，再進行sqoop導入數據到hive表

2）導入分區表

sqoop import \

--connect jdbc:mysql://localhost:3306/hivetomysql \

--username root --password 123456 \

--table emp \

--mapreduce-job-name FromMySQLToHive \

--delete-target-dir \

--hive-database ruozedata \

--hive-table ruozedata_emp_partition \

--hive-import \

--hive-partition-key 'pt' \

--hive-partition-value '2018-08-08'

但是，查看表內容發現有問題：

應該是分隔符的問題

sqoop import \

--connect jdbc:mysql://localhost:3306/hivetomysql \

--username root --password 123456 \

--table emp \

--mapreduce-job-name FromMySQLToHive \

--delete-target-dir \

--hive-database ruozedata \

--hive-table ruozedata_emp_partition \

--hive-import \

--hive-partition-key 'pt' \

--hive-partition-value '2018-08-08' \

--fields-terminated-by '\t' \? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （規定分隔符為\t）

--hive-overwrite? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （覆蓋之前數據）

3.hive導出到mysql

現在mysql里創建一張表

mysql> create table emp_export as select * from emp where 1=2;

sqoop export \

--connect jdbc:mysql://localhost:3306/hivetomysql \

--username root --password 123456 \

--table emp_export \

--export-dir \hdfs://192.168.137.141:9000/user/hive/warehouse/ruozedata.db/ruozedata_emp \

--input-fields-terminated-by '\t';

4.job

先創建一個job

sqoop job --create ruozejob \

-- import \

--connect jdbc:mysql://localhost:3306/hivetomysql \

--username root --password 123456 \

--table emp -m 2 \

--mapreduce-job-name FromHiveToMySQL \

--delete-target-dir;

[hadoop@hadoop001 conf]$ sqoop job --list

[hadoop@hadoop001 conf]$ sqoop job --exec ruozejob

需要輸入密碼

最后編輯于：2018.07.02 21:04:12

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市，隨后出現的幾起案子，更是在濱河造成了極大的恐慌，老刑警劉巖，帶你破解...
沈念sama閱讀 228,461評論 6贊 532
死咒
序言：濱河連續發生了三起死亡事件，死亡現場離奇詭異，居然都是意外死亡，警方通過查閱死者的電腦和手機，發現死者居然都...
沈念sama閱讀 98,538評論 3贊 417
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人，你說我怎么就攤上這事?！?“怎么了？”我有些...
開封第一講書人閱讀 176,423評論 0贊 375
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長。經常有香客問我，道長，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 62,991評論 1贊 312
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮，結果婚禮上，老公的妹妹穿的比我還像新娘。我一直安慰自己，他們只是感情好，可當我...
茶點故事閱讀 71,761評論 6贊 410
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著，像睡著了一般。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發上，一...
開封第一講書人閱讀 55,207評論 1贊 324
城市分裂傳說
那天，我揣著相機與錄音，去河邊找鬼。笑死，一個胖子當著我的面吹牛，可吹牛的內容都是我干的。我是一名探鬼主播，決...
沈念sama閱讀 43,268評論 3贊 441
雙鴛鴦連環套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了？” 一聲冷哼從身側響起，我...
開封第一講書人閱讀 42,419評論 0贊 288
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎，沒想到半個月后，有當地人在樹林里發現了一具尸體，經...
沈念sama閱讀 48,959評論 1贊 335
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內容為張勛視角年9月15日...
茶點故事閱讀 40,782評論 3贊 354
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時候發現自己被綠了。大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
茶點故事閱讀 42,983評論 1贊 369
活死人
序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖，靈堂內的尸體忽然破棺而出，到底是詐尸還是另有隱情，我是刑警寧澤，帶...
沈念sama閱讀 38,528評論 5贊 359
?日本核電站爆炸內幕
正文年R本政府宣布，位于F島的核電站，受9級特大地震影響，放射性物質發生泄漏。R本人自食惡果不足惜，卻給世界環境...
茶點故事閱讀 44,222評論 3贊 347
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧，春花似錦、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 34,653評論 0贊 26
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至，卻和暖如春，著一層夾襖步出監牢的瞬間，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 35,901評論 1贊 286
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人。一個月前我還...
沈念sama閱讀 51,678評論 3贊 392
代替公主和親
正文我出身青樓，卻偏偏與公主長得像，于是被迫代替她去往敵國和親。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當晚...
茶點故事閱讀 47,978評論 2贊 374

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

Sqoop

Sqoop

推薦閱讀更多精彩內容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美 国产 综合 欧美 视频

Sqoop

推薦閱讀更多精彩內容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频