opentsdb+hbase的安裝部署

以下安裝部署都是在centos 7系統下安裝部署的。

? ? ? ? OpenTSDB是基于HBase存儲時間序列數據的一個開源的數據庫,是HBase的一個應用。所以安裝OpenTSDB之前,首先需要安裝HBase,然而HBase使用Java開發的,所以我們第一步首先需要安裝jdk。

一、JDK安裝

1、http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下載jdk的RPM包,然后執行以下命令安裝:

jdk安裝命令安裝完jdk后,需要對環境變量配置:

2、環境變量配置:

配置內容如下:

JAVA_HOME=/usr/java/jdk1.8.0_73

JRE_HOME=/usr/java/jdk1.8.0_73/jre

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

export JAVA_HOME JRE_HOME PATH CLASSPATH

3、配置完成后執行如下命令,讓配置內容生效:

source /etc/profile

4、安裝必要的依賴:

yum install gnuplot automake autoconf git -y


二、Hbase安裝

1、從Hbase官網下載Hbase的tar包,拷貝Hbase到指定目錄,我們這里把所有文件都放在/usr/local/這個目錄下

cp hbase-0.94.27.tar.gz /usr/local

2、然后解壓Hbase并切換到Hbase所在目錄:

tar xvf hbase-0.94.27.tar.gz

cd hbase-0.94.27/

3、配置/conf/hbase-site.xml文件內容:

<configuration>

? ? <property>

? ? ? ? <name>hbase.rootdir</name>

? ? ? ? <value>file:/usr/local/hbase-0.94.27/hbase-${user.name}</value>

? ? </property>

</configuration>

注意:文件的路徑就是你寫數據的路徑,不要存在臨時目錄下面,這樣機器重啟會丟失數據

4、對于Hbase的一些基本操作:

(1)啟動Hbase:nohup ./bin/start-hbase.sh 如果沒有報錯啟動成功

(2)Hbase的shell:./bin/hbase shell 即啟動了Hbase的shell就可以通過shell命令操作Hbase數據庫:

create 'test','cf' ?創建一個表

put 'test', 'row1', 'cf:a', 'value1' ?插入數據

scan 'test' 查詢一個表

get 'test', 'row1' 查詢一行數據

disable再drop這張表(刪除表的操作)

exit退出Shell

注意:用Shell操作HBase時要進行刪除,需要同時按住Ctrl和Delete鍵來進行刪除操作。

(3)停止Hbase ./bin/stop-hbase.sh ?Hbase將會慢慢的停止這只是一個單機的Hbase,后面我們可以設置分布式的Hbase,只需要對相應的配置文件配置就OK了,如果需要配置集群的話,后續我會加上。

三、Opentsdb安裝

1、從Releases · OpenTSDB/opentsdb · GitHub上選擇下載相應的版本,也可以去官網下載都可以,解壓Opentsdb安裝文件,并且解壓文件:

tar -xvf opentsdb-2.2.0.tar.gz

cd? opentsdb-2.2.0

./build.sh?

2、執行完以上命令后,將會在build文件夾下生成一個tsdb.jar,接下來安裝:

cd build/

make install

沒有什么錯誤的話,說明Opentsdb安裝成功

3、操作Opentsdb以及數據存入到Hbase中:

(1)第一次啟動OpenTSDB需要HBase的支持,所以首先需要創建必要的HBase表格,命令如下:

env COMPRESSION=NONE HBASE_HOME=/usr/local/hbase-0.94.27 ./src/create_table.sh?

?HBASE_HOME必須是你本地安裝的HBase的目錄,因為OpenTSDB是基于HBase實現的,所以這里要指明HBase的安裝路徑。這樣就會創建出四個表格,分別是tsdb、tsdb-uid、tsdb-tree和tsdb-meta。為了防止opentsdb產生大量的日志,可以在/src/logback.xml中設置一個日志級別。

(2)啟動Opentsdb

./build/tsdb tsd ?執行如下命令啟動TSD

tsdtmp=${TMPDIR-'/tmp'}/tsd 創建臨時目錄

mkdir -p "$tsdtmp"?

?./build/tsdb tsd --port=4242 --staticroot=build/staticroot --cachedir="$tsdtmp"?

注意:如果使用的是HBase集群,則需要設置—zkquorum。

此時已經成功啟動了OpenTSDB,你可以通過IP:Port用瀏覽器進行訪問,Port是4242

4、Opentsdb日志管理:

? ? ? ? 一般由于opentsdb默認的日志特別多,尤其以nohup啟動的話,日志很有可能占滿整個磁盤。所以這里需要修改opentsdb的bug級別。

? ? ? ? Opentsdb采用slf4j作為日志管理,主要日志配置在/src/logback.xml文件中,主要的日志級別如下:

(1)ERROR主要打印錯誤信息,操作失敗等,這將影響opentsdb的正常使用

(2)WARN這是由于不正確的操作造成的,但不至于影響opentsdb的正常運行

(3)INFO

(4)DEBUG

(5)OFF

直接修改logback.xml文件就可以完成日志級別的修改,如下圖所示:

直接屏蔽了日志輸出

總結:以上只是將Opentsdb和Hbase(還是單節點)集成起來,Opentsdb能夠將得到的數據傳送給Hbase,并存入到Hbase數據庫中。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容