軟件包

1. CDH 5.7.6 Cloudera Manager + CDH安裝請點擊

2. kylin-2.0.0kylin官網

kylin的安裝

吐槽一下，雖然網上關于kylin的安裝都很簡單，但是實際安裝遠遠沒有那么簡單。

1. 配置環境變量
   配置后source /etc/profile使其生效，如果啟動kylin的時候，還說環境未配置，請繼續執行source /etc/profile，我配置過程中也遇到這個問題，也不知道為什么。

   export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
   export KYLIN_HOME=/opt/export/app/kylin-2.0.0
   export HBASE_HOME=/opt/cloudera/parcels/CDH-5.7.6-1.cdh5.7.6.p0.6/lib/hbase
   export HADOOP_HOME=/opt/cloudera/parcels/CDH-5.7.6-1.cdh5.7.6.p0.6/lib/hadoop
   export HIVE_HOME=/opt/cloudera/parcels/CDH-5.7.6-1.cdh5.7.6.p0.6/lib/hive
   export HADOOP_CMD=/opt/cloudera/parcels/CDH-5.7.6-1.cdh5.7.6.p0.6/lib/hadoop/bin/hadoop
   export HCAT_HOME=/opt/cloudera/parcels/CDH/lib/hive-hcatalog
   export HIVE_CONF=/etc/hive/conf
   export HIVE_CONF_DIR=/etc/hive/conf
   export HADOOP_CONF_DIR=/etc/hadoop/conf
   export YARN_CONF_DIR=/etc/hadoop/
   

2. 配置kylin.properties

   添加：
   kylin.job.jar=/opt/export/app/kylin-2.0.0/lib/kylin-job-2.0.0.jar
   kylin.coprocessor.local.jar= /opt/export/app/kylin-2.0.0/lib/kylin-coprocessor-2.0.0.jar
   kylin.job.yarn.app.rest.check.status.url=http://master01:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
   
   修改如下配置項：
   kylin.source.hive.client=beeline
   kylin.source.hive.beeline-params=-n hive -u jdbc:hive2://master01:10000
   
   如果hive配置了高可用kylin.source.hive.beeline-params需要改變為：注意jdbc雙引號一定要加
   
   kylin.source.hive.beeline-params=beeline -u "jdbc:hive2://master01:2181,master02:2181,slave01:2181,slave02:2181,slave03:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2_zk" -n hive -p hive
   

3. 執行./check-env.sh
   這個命令實在hdfs先創建/kylin目錄，執行時會有權限問題，請在切換到hdfs用戶目錄下執行

4. 導入測試數據./sample.sh

5. 啟動kylin ./kylin.sh start

6. 訪問web UI

   登錄后臺：http://xxxxx:7070/kylin
   賬號密碼：ADMIN/KYLIN

遇到問題

首先確保是按照上述步驟配置Kylin

1. 環境問題

   分別執行 find-hadoop-conf-dir.sh find-hbase-dependency.sh find-hive-dependency.sh 來確定是否環境配置正確
   
   執行結果：
   [wangjingkun@master01 bin]$ ./find-hadoop-conf-dir.sh
   Retrieving hadoop conf dir...
   ./find-hadoop-conf-dir.sh: line 74: return: can only `return' from a function or sourced script
   [wangjingkun@master01 bin]$ ./find-hbase-dependency.sh
   Retrieving hbase dependency...
   [wangjingkun@master01 bin]$ ./find-hive-dependency.sh
   Retrieving hive dependency...
   [wangjingkun@master01 bin]$
   
   第一次執行find-hive-dependency.sh會打印好多jar包信息。
   

2. hdfs權限問題

   2.1 /tmp的權限問題，這個我直接將hdfs配置中的配置項：檢查 HDFS 權限
   dfs.permissions設置為false

   2.2 /user權限問題，這個問題可能沒有，如果遇到不想排查的話sudo -u hdfs hdfs dfs -chmod -R /user

3. 重置集群以及Kylin后報錯如下：

   
   

   解決：登錄zookeeper客戶端后執行如下命令：
   rmr /hbase/table/kylin_metadata_acl
   rmr /hbase/table/kylin_metadata_user
   rmr /hbase/table/kylin_metadata

4. 使用kylin1.6.0時執行MR報錯
   在kylin.properties中添加 kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH/lib/sentry/lib/
   問題解答