想不想把spark項目打包更快一點?如果把幾百M的依賴包打成一個包是很花時間的,少則1分鐘,多則幾分鐘,這些時間還不如留著跟前臺妹子聊會天呢,經過幾百遍的測試,平時要花1分20秒才能打成的jar包,現在只需要9秒,沒錯你沒聽錯就是9秒,咳咳....,好了不吹牛了回歸正文吧。
使用方法
build.gradle
group 'com.dounine'
version '1.0.0-SNAPSHOT'
apply plugin: 'java'
apply plugin: 'scala'
sourceCompatibility = 1.8
repositories {
mavenLocal()
mavenCentral()
maven { url "http://repo.hortonworks.com/content/repositories/releases/" }
}
configurations {
provided
}
task copyJars(type: Copy) {
from configurations.runtime
into new File('build/libs/lib')
}
compileJava.dependsOn copyJars
def env = hasProperty("pro") ? "RELEASE" : "SNAPSHOT"
sourceSets {
main {
compileClasspath += configurations.provided
resources {
srcDirs = ["src/main/resources", "src/main/profile/$env"]
}
}
}
jar {
String buildDir = project.buildDir
manifest {
attributes 'Implementation-Title': 'HbaseDataInsert',
'Implementation-Version': version,
'Main-Class': 'com.dounine.hbase.HbaseHdfsWrite',
'Class-Path': new File(buildDir+'/libs/lib').list().collect { "lib/${it}" }.join(" ")
}
}
dependencies {
compile 'org.scala-lang:scala-library:2.11.12'
compile group: 'com.alibaba', name: 'fastjson', version: '1.2.54'
compile group: 'org.apache.spark', name: 'spark-sql_2.11', version: '2.3.1.3.0.1.0-187'
compile group: 'org.apache.hbase', name: 'hbase-it', version: '2.0.0.3.0.1.0-187'
}
核心配置
configurations {
provided
}
task copyJars(type: Copy) {
from configurations.runtime
into new File('build/libs/lib')
}
compileJava.dependsOn copyJars
jar {
String buildDir = project.buildDir
manifest {
attributes 'Implementation-Title': 'HbaseDataInsert',
'Implementation-Version': version,
'Main-Class': 'com.dounine.hbase.HbaseHdfsWrite',
'Class-Path': new File(buildDir+'/libs/lib').list().collect { "lib/${it}" }.join(" ")
}
}
好了,馬上開始打包
gradle clean build -xtest
打出來的依賴包會放在build/libs/lib
里面
那應該如何提交spark任務呢?請看下面
任務提交
spark-submit --master yarn \
--class com.dounine.hbase.HbaseHdfsWrite \
--conf spark.yarn.tokens.hbase.enabled=true \
--executor-memory 1g --driver-memory 1g \
--keytab /etc/security/keytabs/hbase.headless.keytab \
--jars /root/bd/hbase/build/libs/lib/a.jar,/root/bd/hbase/build/libs/lib/b.jar,...... \
--principal hbase-bd@EXAMPLE.COM build/libs/hbase-1.0.0-SNAPSHOT.jar hdfs:///tmp/logdir2
有好多個點的地方就是要大家手動補全的jar包路徑啦
好啦,開個玩笑,這么玩還不如回到當初呢
最終解決方案
使用通配符
spark-submit --master yarn \
--class com.dounine.hbase.HbaseHdfsWrite \
--conf spark.yarn.tokens.hbase.enabled=true \
--executor-memory 1g --driver-memory 1g \
--keytab /etc/security/keytabs/hbase.headless.keytab \
--jars "/root/bd/hbase/build/libs/lib/*" \
--principal hbase-bd@EXAMPLE.COM build/libs/hbase-1.0.0-SNAPSHOT.jar hdfs:///tmp/logdir2
其實搞了那么久就是多出了一個雙引號而已
優化
當然了,既使這樣spark-submit也會每次都把重復的jar包往hdfs上寫,這也是一個過程。
可以這樣子優化,把打好包的build/libs/lib/*
上傳到hdfs中,程序再引用它這樣啟動速度就灰??炝?/p>
hadoop fs -mkdir /tmp/jars
hadoop fs -put build/libs/lib/* /tmp/jars
程序啟動引用
spark-submit --master yarn \
...
--jars "hdfs:///tmp/jars/*" \
...
完美收工