Executor內存使用 因此Executor的內存主要分為三塊： 第一塊是讓task執行我們自己編寫的代碼時使用，默認是占Executor總內存的20%； 第二塊是讓tas...
發簡信
IP屬地：貴州
-
Spark 資源調優 -
Spark Repartition 使用
看到一些同學的Spark代碼中包含了很多repartition的操作，有一些不是很合理，非但沒有增加處理的效率，反而降低了性能。這里做一個介紹。 repartition 從字...
-
因用了Insert into select語句，同事被開除了！
來自：掘金（作者：不一樣的科技宅）原文鏈接：https://juejin.im/post/5e670f0151882549274a65ef 前言 Insert into se...
-
使用marven實現java和scala的互相調用
1. Java調用Scala類 整個工程的目錄結構如下： App.java為主程序，由Java語言實現，MyScala.scala為被調用的類，由Scala語言實現。 App...
-
Eclipse中使用gitEclipse從LUNA版本開始默認支持了GIT客戶端，可以在導航菜單中windows --> preferences搜索git查看git相關配置。Eclipse中對于git...
-
Java漢字轉拼音pinyin4j用法
一、工具介紹 pinyin4j 是一個支持將簡體和繁體中文轉換到成拼音的Java開源類庫； 1. 功能 支持同一漢字有多個發音 還支持拼音的格式化輸出，比如第幾聲之類的， 同...
-
斯坦福 CS224d 自然語言處理中文筆記
-
-
Python優雅的操作Exchange郵箱——exchangelib模塊使用介紹
最近想把公司郵箱的附件給下載下來，附件好多都是我整理的報告和文檔，一個個去下載明顯太傻，碰到這種問題第一個想到的就是Python啦 需求很簡單，只需要登錄自己的Exchang...
-
關于Dashboard設計的總結作為一個TOB產品的設計師，一定設計過儀表盤（Dashboard）無論是哪一種數據產品，儀表盤（Dashboard）都是最核心的功能。他是用戶接觸數據的第一個頁面，相當于數據...
-
幾種常用數據標準化方法
引入 評價是現代社會各領域的一項經常性的工作，是科學做出管理決策的重要依據。隨著人們研究領域的不斷擴大，所面臨的評價對象日趨復雜，如果僅依據單一指標對事物進行評價往往不盡合理...
