用戶編寫的spark程序打包成jar后提交到yarn執行時，經常會遇到jar包中明顯存在某個類，但任務提交到yarn運行時卻找不到類或方法（java.lang.NoSuchMethodError）的問題。本文總結下產生此類問題的原因及解決方案。
例子
比如我們有個spark程序用到了guava的Splitter類：
import com.google.common.base.Splitter;
...
List list = Splitter.on("/").splitToList(output);
程序在本地模式下能正常運行，打好的jar包也的確包含Splitter類（驗證方法參考附錄1)，但是在yarn-cluster模式時，會出現“java.lang.NoSuchMethodError: com.google.common.base.Splitter.splitToLis” 的錯誤，具體錯誤如下：
[2017-07-21 18:16:16,922] ERROR User class threw exception: java.lang.NoSuchMethodError: com.google.common.base.Splitter.splitToList(Ljava/lang/CharSequence;)Ljava/util/List; (org.apache.spark.deploy.yarn.ApplicationMaster)
java.lang.NoSuchMethodError: com.google.common.base.Splitter.splitToList(Ljava/lang/CharSequence;)Ljava/util/List;
at cn.creditease.bdp.jsoncook.core.string.Variable.<init>(Variable.java:14)
at cn.creditease.bdp.jsoncook.core.string.StringCompiler.compileVariable(StringCompiler.java:63)
at cn.creditease.bdp.jsoncook.core.string.StringCompiler.compile(StringCompiler.java:73)
at cn.creditease.bdp.jsoncook.core.Compiler.compile(Compiler.java:49)
at cn.creditease.bdp.jsoncook.core.Compiler.compileMap(Compiler.java:82)
at cn.creditease.bdp.jsoncook.core.Compiler.compile(Compiler.java:67)
at cn.creditease.bdp.sparkcook.step.CookStep.<init>(CookStep.java:62)
at cn.creditease.bdp.sparkcook.step.LoadSQLStep.<init>(LoadSQLStep.java:15)
原因
那是什么原因造成spark程序本地能運行，yarn上就“ NoSuchMethodError”了呢？
原因是本地的jar包被SPARK_HOME/lib中的jar覆蓋。spark程序在提交到yarn時，除了上傳用戶程序的jar，還會上傳SPARK_HOME的lib目錄下的所有jar包（參考附錄2 )。如果你程序用到的jar與SPARK_HOME/lib下的jar發生沖突，那么默認會優先加載SPARK_HOME/lib下的jar，而不是你程序的jar，所以會發生“ NoSuchMethodError”。
上面的例子就是因為我程序的jar用的是guava18版本（mvn dependency:tree可查出版本），但是SPARK_HOME/lib下用的是guava14版本。lib下的guava14覆蓋了用戶的guava18，而guava14中并沒有splitToList()方法, 所以報錯。
解決方案
由于默認情況下，優先級SPARK_HOME/lib/jar包 > 用戶程序中的jar包， 如果想讓用戶程序jar優先執行，那么要使用 spark.yarn.user.classpath.first (spark1.3以前）或者 spark.executor.userClassPathFirst 和spark.driver.userClassPathFirst 參數。
這些參數能讓用戶的jar覆蓋SPARK_HOME/lib的jar。在spark conf中將他們設置為"true"即可。
如下是“spark.yarn.user.classpath.first” 參數的官方解釋：
(Experimental) Whether to give user-added jars precedence over Spark's own jars when loading classes in the the driver. This feature can be used to mitigate conflicts between Spark's dependencies and user dependencies. It is currently an experimental feature. This is used in cluster mode only.
（正文完）
附錄1 確認某個類在jar包中
第一種方式，我們用“jar -tf ”命令確認Splitter確實在jar包內，比如確認“Splitter” 類在我們的打好的jar包中：
jar -tf sparkcook-1.0-SNAPSHOT.jar | grep "com/google/common/base/Splitter"
com/google/common/base/Splitter$1$1.class
com/google/common/base/Splitter$1.class
com/google/common/base/Splitter$2$1.class
com/google/common/base/Splitter$2.class
com/google/common/base/Splitter.class
第二種方式是通過反編譯工具(如JD-GUI)反編譯jar包，在反編譯的代碼中確認類和方法存在。
第三種方式是借助IDEA等開發工具找到源碼所在的位置，還是以查Splitter類為例：
附錄2 查看spark程序在yarn中的jar包使用情況
在啟動spark程序后，在yarn的Environment UI子頁面可查看到spark 程序用到的jar包。
比如我們上面的spark例子程序跑起來后，可在頁面上查到一共有兩類guava jar包，一類是SPARK_HOME/lib中的guava-14:
第二類是common、yarn、hdfs等hadoop相關的guava-18:
第三類是用戶的guava-18, 由于用戶程序的guava-18整合在了打包好的jar包中，所以在UI頁面上看不到。
