本文是基于hive-1.4.6文檔
sqoop從rdbms導數據到hdfs
- 連接數據庫
sqoop import --connect jdbc:mysql://database_host/database_name
使用用戶名和密碼連接
sqoop import --connect jdbc:mysql://database_host/database_name --username my_name --password mypassword - 選擇要導入的數據，包括導入的表，要導入的列
--table table_name指定要導入的表。默認情況下會選擇表中的所有列。
--columns "col1,col2,...,"，選擇要導入的列。
--where condition選擇滿足condition的行導入。 - 也可以指定一個查詢語句，以這個查詢語句的結果作為導入的數據：
--query 'select xxx from xxx where $CONDITION'
where $CONDITION不是必須的，除非當需要sqoop并行的導入查詢語句的結果時，sqoop會根據--split-by指定的列分區，然后將$CONDITION 替換為分區條件。
使用了where $CONDITION就意味著必須使用--split-by - 并行導入
sqoop通過運行map-reduce完成數據導入，sqoop需要知道：1. 如何劃分mr任務(即沒個任務負責導入哪些數據,)；2. 任務并行度.-
-m num_map指定任務并行度為num_map，也就是map任務的個數 -
--split-by col_name, 劃分mr任務，當指定--split-by時，sqoop會運行select min(col_name), max(col_name) from <table name>來確定col_name范圍，返回根據-m選項值平均劃分這個范圍，作為每個mr任務負責數據范圍， - 沒有指定--split-by時，會根據主鍵劃分
- 沒有主鍵又沒有--split-by時，任務就不能并行的運行，此時必須指定
-m 1或者--autoreset-to-one-mapper只運行一個map任務。
-
- 控制從rdbms導入數據時事務隔離級別
sqoop導入數據應該是通過查詢語句從rdbms中獲取數據，默認的隔離級別是read-commit, 通過--relaxed-isolation將隔離級別降至read-uncommited. - 設置輸出行格式
sqoop從rdbms導入然后輸出到hdfs上普通的text文件時，總是需要特定分隔符確定rdbms中的一行，以及分隔符確定列。mysql默認是'\n'分割行，','分割列。這種分割方式在數據庫列中存在'\n'或者'，'時會出錯。
通過如下選項避免：- --enclosed-by <char> 用來包圍列的，比如：
this is a test, must be in one column | 1 | test
// --enclosed-by '"'，用引號包圍每列，假設輸出hdfs文件以，分割列
"this is a test, must be in one column", "1", "test" - --enclosed-by <char> 用來包圍列的，比如：
- --escaped-by <char>
配合上面的一起用，如果列中有字符和enclosed-by指定的一樣，使用es
caped-by，比如：
// 假設下面字符串是數據庫表中三列，用|隔開每列
this is a test ", must be in one column | 1 | test
// --enclosed-by '\"' --escaped-by '\\'，用引號包圍每列，假設輸出hdfs文件以，分割列
"this is a test \", must be in one column", "1", "test"
```
- --fields-terminated-by <char>
指定域分割符，也就是輸出到hdfs text文件時分割用的，默認 ','
- --lines-terminated-by <char>
行分割符，rdbms中一行對應到hdfs text文件中一行，指定行分割符，默認'\n'
## 增量導入
增量導入有兩種模式：1. 導入新加到數據庫中的數據；2. 導入修改的數據。
無論哪種模式都需一個比較基準判斷什么數據是新加的（比如大于某個id的都是新加的），或者什么數據是修改的（大于某個時間都是新修改的）。
- `--check-column col` 用于判斷的列，檢查這個列的值并和基準比較判斷是否要被增量導入。
- `--incremental mode` mode可選：1. append, 只導入新加的數據；2. lastmodified，導入更新的數據。
- `--last-value`,判斷基準，對于append，它可能是整型的id值，大于該id的導入，對于lasmodified它可能是時間戳。
##sqoop從rdbms導入到hive
1. 使用`sqoop import --hive-import ...`
目標hive表的名字默認和--table中名字一樣。
2. `--hive-overwrite`會在目標hive存在是丟棄其中所有數據。
3. `--create-hive-table `會在目標hive不存在是創建，存在會拋異常
4. `--hive-home path/to/your/hive_home`sqoop會創建hive表，設置hive home，sqoop會使用HIVE_HOME/bin/hive命令
5. 當hive使用文本格式存儲數據時，默認的行分隔符為'\n\r', field(也就是列)分隔符是'\01'(vim里ctrl + A) 。如果數據庫表中列數據中包含這些hive默認分割符，顯然存儲的數據在hive解析時會出錯。
- --hive-drop-import-delims , 用于import時丟棄rdbms中這個字段丟棄。
- --hive-delims-replacement, 用于import時將rdbms中這些分隔符字段替換成另外的。
6. 關與數據庫中的列為NULL的字段，默認sqoop會使用字符串"null"表示，而HIVE中NULL使用\N表示，顯然使用HIVE SQL ‘is null‘判斷會出錯。
- --null-string '\\N'， 用于import時將rdbms中的NULL替換成HIVE使用的'\\N', 這個選項用于rdbms中的string類型的列。
- --null-non-string '\\N'，和上面作用一樣，設置非string列
- --input-null-string，--input-null-non-string,用于從hdfs導出到rdbms時，設置rdbms的null值
7. --hive-partition-key par-key，--hive-partition-value par-value，將數據導到指定的HIVE表分區， hive-partition-key設置成hive表的分區列，hive-partition-value設置成該列的值。sqoop應該會運行:
`load data inpath hdfs_path into table table_name partition(par-key=par-value)`