1.Linux

2.MySQL

3.Hadoop

4.Hadoop常用操作

問題:使用MapReduce實(shí)現(xiàn)join、mapjoin的功能？

===>非常繁瑣

? ? ? ? wordcount ? ?MR是非常麻煩的

5.Hive產(chǎn)生背景

6.Hive

7.Hive階段版本

8.HIVE環(huán)境搭建

若澤數(shù)據(jù)-J哥：hadoop-2.8.1 Apache Hadoop

生產(chǎn)環(huán)境建議使用： CDH HDP

若澤數(shù)據(jù)-若澤：CDH

統(tǒng)一軟件安裝包下載路徑：http://archive.cloudera.com/cdh5/cdh/5/

選擇統(tǒng)一的cdh5.7.0尾號(hào)

hadoop-2.6.0-cdh5.7.0.tar.gz

hive-1.1.0-cdh5.7.0.tar.gz

機(jī)器目錄結(jié)構(gòu)相關(guān): hadoop/hadoop

hadoop000(192.168.199.151)

hadoop001

hadoop002

/home/hadoop/

software? 存放安裝軟件

data 存放測試數(shù)據(jù)

source 存放源代碼?

lib? 存放相關(guān)開發(fā)的jar

app? 軟件安裝目錄

tmp 存放HDFS/Kafka/ZK數(shù)據(jù)目錄

maven_repo? maven本地倉庫

shell? 存放上課相關(guān)的腳本

mysql：root/root

下載hive：wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz

解壓: tar -zxvf ....... -C ~/app/

配置環(huán)境變量: ~/.bash_profile

export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0

export PATH=$HIVE_HOME/bin:$PATH

拷貝驅(qū)動(dòng)：cp mysqldriver $HIVE_HOME/lib

配置文件修改

cp hive-env.sh.template hive-env.sh

HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0

hive-site.xml

Hive表創(chuàng)建報(bào)錯(cuò)，具體日志信息如下：

com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes