發簡信
IP屬地：北京
-
java在線診斷神器-Arthas-試用札記筆者閑逛開源中國，偶遇“開源中國 2018 年度榜單之國產新秀榜”之top1-Arthas，遂觀之。閱后興奮不已，此乃上古神器也。神器流落凡間，...
-
spark之Failed to create local dir那點事
近日莫名遭遇異常一枚，如下： 原因分析：1 Failed to create local dir，什么時候spark會創建臨時文件呢？shuff...
-
性能優化筆記(一)概述：筆者近期接受一個大數據項目的性能優化，為期兩周，2.6萬/s的日志處理速度提升至需求目標值5萬/s。從整理項目流程閱讀代碼到性能優化目標實...
-
設計模式之合成（Composite）模式
場景：數據流向：kafka-->spark-->es。其中spark數據處理會有過濾，etl等步驟，需求不同，搭配不同。如A場景需要過濾+etl...
-
Spark的那些事(四) java操作kudu全示例(含sparksql)
上文提到，使用kudu等列式存儲將數據以update模式寫入kudu.下面說一下java操作kudu的相關demo。java操作kudu在git...
-
spark的那些事(三) Structured streaming 窗口期內存數據的查詢
之前的文章中提過，structured streaming處理流數據，如果使用聚合，將會有window的概念，對應屬性watermark.不知你...
-
Spark的那些事(二)Structured streaming中Foreach sink的用法
Structured streaming默認支持的sink類型有File sink，Foreach sink，Console sink，Memo...
-
Spark的那些事（一）Spark是一個快速的集群化的實時計算系統。支持Java, Scala, Python 和R語言的高級API。 一 Spark生態： 支持Spa...
-
dropwizard微服務實踐
一 Dropwizard是什么？Dropwizard是一個跨越了庫和框架的界限，他的目標是提供一個生產就緒的web應用程序所需的一切性能可靠的實...