在CentOS/RHEL上編譯序列化軟件Avro的C語言接口庫

消息由鍵,值和頭部組成。Kafka不識別消息中鍵和值,它按字節(jié)數(shù)組處理他們。但生產(chǎn)者和消費者關(guān)心如何讀取這些數(shù)據(jù)。所以我們希望數(shù)據(jù)存儲的方式是易讀的,同時它還要盡可能地緊湊和快速編解碼。例如,JSON是自解釋的一個格式,但是它不緊湊而且解析速度慢。Avro是apache一個快速的序列化框架,它創(chuàng)建的消息相對緊湊。要讀取Avro記錄,你要有數(shù)據(jù)序列化的schema(Avro使用一個叫做schma的JSON文檔描述數(shù)據(jù)結(jié)構(gòu))。

但是,基于C語言的avro API在安裝時必須有jansson、snappy等一系列依賴庫,且基于cmake的安裝方式也不太友好,因此需要進行說明如下。

一、編譯snappy

1、下載snappy

$ wget https://github.com/google/snappy/releases/download/1.1.3/snappy-1.1.3.tar.gz

2、解壓

$ tar -xf snappy-1.1.3.tar.gz

3、生成編譯環(huán)境(系統(tǒng)中需要安裝autoconf、libtool)

$ cd snappy-1.1.3
$ autoreconf --force --install

此處如果不加參數(shù),則在執(zhí)行下一步 make 時會報錯:

/bin/sh ./libtool --tag=CXX --mode=compile g++ -DHAVE_CONFIG_H -I. -g -O2 -MT snappy.lo -MD -MP -MF .deps/snappy.Tpo -c -o snappy.lo snappy.cc
libtool: Version mismatch error. This is libtool 2.4.2 Debian-2.4.2-1.7ubuntu1, but the
libtool: definition of this LT_INIT comes from libtool 2.2.6b.
libtool: You should recreate aclocal.m4 with macros from libtool 2.4.2 Debian-2.4.2-1.7ubuntu1
libtool: and run autoconf again.
make[1]: *** [snappy.lo] 錯誤 63
make[1]: Leaving directory `/home/rs3000/rpm/snappy-1.1.3'
make: *** [all] 錯誤 2

$ ./configure

4、編譯

$ make

5、拷貝生成的庫到默認庫文件地址

$ sudo make install

或者“su”登陸root用戶

# make install
  • 生成的 .h 頭文件在/usr/local/include下
  • 生成的 .so .a庫文件在/usr/local/lib下

二、安裝JSON庫libjansson

1、下載源文件

$ wget http://www.digip.org/jansson/releases/jansson-2.12.tar.gz

2、解壓

$ tar -xf jansson-2.12.tar.gz

3、生成編譯環(huán)境

$ cd jansson-2.12
$ ./configure

4、編譯

$ make

5、拷貝生成的庫到默認庫文件地址

$ sudo make install

或者“su”登陸root用戶

# make install
  • 生成的 .h 頭文件在/usr/local/include下
  • 生成的 .so .a庫文件在/usr/local/lib下

三、安裝Avro C的API接口庫

1、下載源文件

$ wget http://mirrors.hust.edu.cn/apache/avro/avro-1.8.2/c/avro-c-1.8.2.tar.gz

2、解壓

$ tar -xf avro-c-1.8.2.tar.gz
$ cd avro-c-1.8.2

3、修改cmake文件
avro C的API庫要使用 Cmake 交叉編譯工具 來生成編譯環(huán)境,但原始的 CMakeLists.txt 文件并非最終文件,作者沒有完成其中的主要庫位置snappy和jansson的指定,需要做如下修改:

1) 將CMakeLists.txt的如下行內(nèi)容進行修改
注釋

#pkg_check_modules(JANSSON jansson>=2.3)

在這一行下面增加一行

find_package(jansson)

即去掉無意義的比較jansson版本功能,改為尋找加載jansson包

2)修改FindSnappy.cmake文件
該文件中未指定libsnappy的安裝根目錄/usr/local,因此需要在開頭增加一個定義:

set(SNAPPY_ROOT_DIR /usr/local)

3)因為源文件中沒有任何指定jansson庫的內(nèi)容,所以會直接導(dǎo)致cmake找不到j(luò)ansson依賴,從而無法編譯。這里需要增加一個Findjansson.cmake文件,可以從FindSnappy.cmake直接復(fù)制而來,然后修改。
由于libjansson的庫位置和Snappy相同,可以簡單的修改如下:

  • 將文件中的 SNAPPY_ 改為 JANSSON_
  • 將頭文件jansson.h文件和庫文件libjansson.so重新指定:

結(jié)果為:

set(JANSSON_ROOT_DIR /usr/local)

find_path(JANSSON_INCLUDE_DIR
    NAMES jansson.h
    HINTS ${JANSSON_ROOT_DIR}/include)

find_library(JANSSON_LIBRARIES
    NAMES libjansson.so
    HINTS ${JANSSON_ROOT_DIR}/lib)

4、批處理命令編譯

$ ./cmake_avrolib.sh

批處理編譯后的庫文件、頭文件和test文件在 ./build/avrolib下,將./build/avrolib/include 和 ./build/avrolib/lib下,需要將相應(yīng)文件分別轉(zhuǎn)移到/usr/local下的include和lib文件夾中。

libavro的編譯即告完成。

如果想要單步編譯,也可按照下面的步驟執(zhí)行,文件直接生成到/usr/local下。

4、生成編譯環(huán)境

$ mkdir build
$ cd build
$ cmake .. -DCMAKE_INSTALL_PREFIX=/usr/local -DCMAKE_BUILD_TYPE=RelWithDebInfo

注意,默認的庫文件位置在/include 和 /lib下,需要將相應(yīng)文件轉(zhuǎn)移到/usr/local下。

5、編譯

$ make

6、拷貝生成的庫到默認庫文件地址

$ sudo make install

或者“su”登陸root用戶

# make install

編譯拷貝全部完成。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容