發簡信
IP屬地：江西
-
關于hbase、spark、hive使用時的優化問題
一、Hbase的優化 1、JVM優化： 1）如：HBase RegionServer 的 Java 配置選項 -XX:+UseParNewGC ...
-
大數據面試必問-快速理解Hive的數據存儲格式及mapreduce底層原理
在大數據工程師面試時，下面這個題可謂是面試官的最愛，他考察了對于mapreduce框架以及hive的原理的理解，閱讀完這篇文章，在面試這一類的問...
-
sqoop import使用
一、sqoop作用？ sqoop是一個數據交換工具，最常用的兩個工具是導入導出。 導入導出的參照物是hadoop，向hadoop導數據就是導入。...
-
azkaban（最適合入門）這里先默認大家都已經安裝并配置完成了azkaban1、啟動azkaban 啟動azkaban server。進入executor，執行： bin...
-
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)
直奔主題： 其實這個錯誤就是編譯的程序的scala版本和提交時的版本不一致導致的. 我是在idea上寫的scala程序 用的是2.11....
-
史上最有趣的post、get方式詳解GET和POST兩種基本請求方法的區別 GET和POST是HTTP請求的兩種基本方法，要說它們的區別，接觸過WEB開發的人都能說出一二。 最直觀...
-
Spark調優之JVM調優
今天給大家分享Spark調優相關的JVM調優，這個調優方法在開發中也很常見，他主要分為兩種，一種是降低cache操作的內存占比，一種是調節exe...
-
HDFS MapReduce
hdfs的讀寫流程 hdfs寫數據 1） 客戶端通過DistributedFileSystem模塊向namenode請求上傳文件，namenod...
-
Redis數據"丟失"討論及規避和解決的幾點總結
Redis大部分應用場景是純緩存服務，請求后端有Primary Storage的組件,如MySQL,HBase;請求Redis的鍵未命中，會從p...