想不想把spark項目打包更快一點？如果把幾百M的依賴包打成一個包是很花時間的，少則1分鐘，多則幾分鐘，這些時間還不如留著跟前臺妹子聊會天呢，經過幾百遍的測試，平時要花1分20秒才能打成的jar包，現在只需要9秒，沒錯你沒聽錯就是9秒，咳咳....，好了不吹牛了回歸正文吧。

使用方法

build.gradle

group 'com.dounine'
version '1.0.0-SNAPSHOT'

apply plugin: 'java'
apply plugin: 'scala'

sourceCompatibility = 1.8

repositories {
    mavenLocal()
    mavenCentral()
    maven { url "http://repo.hortonworks.com/content/repositories/releases/" }
}

configurations {
    provided
}

task copyJars(type: Copy) {
    from configurations.runtime
    into new File('build/libs/lib')
}
compileJava.dependsOn copyJars

def env = hasProperty("pro") ? "RELEASE" : "SNAPSHOT"

sourceSets {
    main {
        compileClasspath += configurations.provided
        resources {
            srcDirs = ["src/main/resources", "src/main/profile/$env"]
        }
    }
}

jar {
    String buildDir = project.buildDir
    manifest {
        attributes 'Implementation-Title': 'HbaseDataInsert',
                'Implementation-Version': version,
                'Main-Class': 'com.dounine.hbase.HbaseHdfsWrite',
                'Class-Path': new File(buildDir+'/libs/lib').list().collect { "lib/${it}" }.join(" ")
    }
}

dependencies {
    compile 'org.scala-lang:scala-library:2.11.12'
    compile group: 'com.alibaba', name: 'fastjson', version: '1.2.54'
    compile group: 'org.apache.spark', name: 'spark-sql_2.11', version: '2.3.1.3.0.1.0-187'
    compile group: 'org.apache.hbase', name: 'hbase-it', version: '2.0.0.3.0.1.0-187'

}

核心配置

configurations {
    provided
}

task copyJars(type: Copy) {
    from configurations.runtime
    into new File('build/libs/lib')
}
compileJava.dependsOn copyJars
jar {
    String buildDir = project.buildDir
    manifest {
        attributes 'Implementation-Title': 'HbaseDataInsert',
                'Implementation-Version': version,
                'Main-Class': 'com.dounine.hbase.HbaseHdfsWrite',
                'Class-Path': new File(buildDir+'/libs/lib').list().collect { "lib/${it}" }.join(" ")
    }
}

好了，馬上開始打包

gradle clean build -xtest

打出來的依賴包會放在build/libs/lib里面
那應該如何提交spark任務呢?請看下面

任務提交

spark-submit --master yarn  \ 
--class com.dounine.hbase.HbaseHdfsWrite   \
--conf spark.yarn.tokens.hbase.enabled=true \
--executor-memory 1g  --driver-memory 1g  \
--keytab /etc/security/keytabs/hbase.headless.keytab  \
--jars /root/bd/hbase/build/libs/lib/a.jar,/root/bd/hbase/build/libs/lib/b.jar,......    \
--principal hbase-bd@EXAMPLE.COM build/libs/hbase-1.0.0-SNAPSHOT.jar hdfs:///tmp/logdir2

有好多個點的地方就是要大家手動補全的jar包路徑啦
好啦，開個玩笑，這么玩還不如回到當初呢

最終解決方案

使用通配符

spark-submit --master yarn  \ 
--class com.dounine.hbase.HbaseHdfsWrite   \
--conf spark.yarn.tokens.hbase.enabled=true \
--executor-memory 1g  --driver-memory 1g  \
--keytab /etc/security/keytabs/hbase.headless.keytab  \
--jars "/root/bd/hbase/build/libs/lib/*"    \
--principal hbase-bd@EXAMPLE.COM build/libs/hbase-1.0.0-SNAPSHOT.jar hdfs:///tmp/logdir2

其實搞了那么久就是多出了一個雙引號而已

優化

當然了,既使這樣spark-submit也會每次都把重復的jar包往hdfs上寫，這也是一個過程。

可以這樣子優化，把打好包的build/libs/lib/*上傳到hdfs中,程序再引用它這樣啟動速度就灰?？炝?/p>

hadoop fs -mkdir /tmp/jars
hadoop fs -put build/libs/lib/* /tmp/jars

程序啟動引用

spark-submit --master yarn  \ 
...
--jars "hdfs:///tmp/jars/*"    \
...

完美收工