一、Azkaban源碼編譯過程

一、概述

Azkaban項目由以下兩個工程組成

  1. Azkaban:包括exec和web等工程,如果是單機版,則使用solo工程,源碼地址:

官網(wǎng)社區(qū)版:https://github.com/azkaban/azkaban
二次開發(fā)版:https://github.com/huangyanxiong/DeAzkaban

  1. Azkaban-plugins:包含azkaban支持的各種插件,比如 hadoopMR、hive、spark 等,也可以自定義 plugin,源碼地址:

官網(wǎng)社區(qū)版:https://github.com/azkaban/azkaban-plugins
二次開發(fā)版:https://github.com/huangyanxiong/DeAzkaban-plugins

編譯以上兩個工程需要準備以下軟件(在win7下編譯通過):

  1. Jdk:jdk-8u101-windows-x64.exe
  1. Git:git-2.9.0-64-bit.exe 和 TortoiseGit-2.1.0.0-64bit.msi
  2. Gradle:gradle-2.14-bin.zip
  3. Ant:apache-ant-1.9.7-bin.zip
  4. IDE:ideaIC-14.1.1.exe

下載地址:百度云鏈接:http://pan.baidu.com/s/1hs64HjI 密碼:awv0
筆者已經(jīng)把編譯好的工程放到下載地址里了,如果需要自己編譯,請把在 編譯工具 目錄下找到對應的軟件。

為了順利安裝Azkaban,需要完成以下準備工作:

  1. 安裝jdk8,需要在oracle官網(wǎng)下載jdk8的Java Cryptography Extension(JCE),覆蓋$JAVA_HOME\jre\lib\security下面的local_policy.jar 和 US_export_policy.jar文件,下載地址是:http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.html
  1. 安裝ideaIC-14.1.1.exe、git-2.9.0-64-bit.exe、TortoiseGit-2.1.0.0-64bit.msi 雙擊直接安裝
  2. 安裝gradle-2.14-bin.zip、apache-ant-1.9.7-bin.zip,解壓縮后配置環(huán)境變量
  3. 把azkaban源碼包和plugin源碼包解壓到指定目錄下,如下圖所示


    Azkaban解壓后的目錄

二、編譯Azkaban

1、進入azkaban-master文件夾,右鍵可以看到:Git Bash Here

Git Bash Here

2、點擊Git Bash Here,彈出window下的命令行界面

命令窗口

3、執(zhí)行命令:./gradlew distTar -x test

該命令在構(gòu)建環(huán)境,需要下載依賴的包,網(wǎng)絡不好的情況下,耗時會比較長,需要耐心等待。直到最后出現(xiàn)一下界面才是構(gòu)建成功

編譯界面

4、構(gòu)建成功后,在 azkaban-master\azkaban-solo-server\build\distributions目錄下可以看到生成了azkaban-solo-server-3.10.0.tar.gz 文件,該文件就是azkaban的主安裝文件??截愒撐募絣inux下用于后續(xù)安裝。

5、使用idea打開azkaban-master工程,如下:

IDEA打開工程界面

三、編譯Azkaban-plugins

1、進入azkaban-plugins-master文件夾,在plugin子目錄下可以看到以下目錄

plugins代碼目錄

以上圖片中紅框內(nèi)的工程是需要編譯的。

2、進入 hadoopsecuritymanager-common目錄,執(zhí)行ant命令

3、進入 hadoopsecuritymanager目錄,執(zhí)行ant命令

4、進入 hadoopsecuritymanager-yarn目錄,執(zhí)行ant命令

5、進入 crypto目錄,執(zhí)行ant package-crypto命令

6、進入 jobtype 目錄,執(zhí)行ant package-jobtype 命令

7、以上編譯都成功后,會在dist目錄下生成編譯后的壓縮包,找到azkaban-plugins-master\dist\jobtype\packages目錄下的azkaban-jobtype-3.0.0.tar.gz文件,該文件是azkaban的插件包,拷貝到linux下,用于后續(xù)安裝。

8、使用idea打開工程,打開后需要做以下設置:

(1)第一步:Add crypto as Library

Add crypto as Library

(2)第二步:Add jobtype as Library

Add jobtype as Library

(3)第三步:Mark Directory As Souruces Root

Mark Directory As Souruces Root
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 229,565評論 6 539
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 99,115評論 3 423
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 177,577評論 0 382
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,514評論 1 316
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,234評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 55,621評論 1 326
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,641評論 3 444
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 42,822評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 49,380評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 41,128評論 3 356
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,319評論 1 371
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,879評論 5 362
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 44,548評論 3 348
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,970評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,229評論 1 291
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,048評論 3 397
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,285評論 2 376

推薦閱讀更多精彩內(nèi)容

  • Spring Boot 參考指南 介紹 轉(zhuǎn)載自:https://www.gitbook.com/book/qbgb...
    毛宇鵬閱讀 46,902評論 6 342
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務發(fā)現(xiàn),斷路器,智...
    卡卡羅2017閱讀 134,810評論 18 139
  • Ubuntu的發(fā)音 Ubuntu,源于非洲祖魯人和科薩人的語言,發(fā)作 oo-boon-too 的音。了解發(fā)音是有意...
    螢火蟲de夢閱讀 99,444評論 9 467
  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 172,693評論 25 708
  • 夜深了!但這月光十分的妖嬈,驅(qū)走了這黑夜的恐懼!我獨自一個人靜靜的坐在院子中心的一把陳舊的木椅子上思考著,仿佛我就...
    南山太抖閱讀 338評論 1 1