一、報錯信息 SparkSql代碼寫入Mysql邏輯如下，代碼會自動生成目標Mysql表，報錯如圖： 報錯信息： 二、解決方案 原因：代碼自動生成的目標表字段和表編碼為lat...
IP屬地：廣西
-
SparkSql寫Mysql報錯：java.sql.BatchUpdateException: Incorrect string value: '\xE5\xBC\x80\xE5\x8F\x91... -
org.apache.spark.sql.catalyst.catalog.ExternalCatalog as super class
一、報錯 在進行SparkSql代碼調試時，代碼確認無誤執行報如下錯誤：Exception in thread "main" java.lang.IncompatibleCl...
-
org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism(Ljava/lang/String;)V
一、報錯 在進行SparkSql代碼調試時，不同的項目相同的pom.xml依賴相同的代碼，其中一個項目正常執行，另一個項目報錯如下：Exception in thread "...
-
Spark廣播變量應用
一、廣播變量 1、廣播變量的優點 不需要每個task帶上一份變量副本，而是變成每個節點的executor存一份副本。這樣的話， 就可以讓變量產生的副本數量大大減少。 2、廣播...
-
Spark讀寫mysql表數據進行統計分析
一、Mysql數據樣例 數據表為job_details，數據樣例如下： 需求1：求取每個搜索關鍵字search_key下的職位數量，并將結果入庫mysql，注意：實現高效入庫...
-
Hive on MapReduce 性能優化一、MapReduce完整流程 MapTask工作機制 ReduceTask工作機制 MapTask工作機制： （1）Read階段：MapTask通過用戶編寫的RecordR...
-
Hive處理json數據
一、測試數據 該數據采用json格式存儲：id：代表當前用戶微博的id；ids：代表當前微博用戶關注其他微博用戶的id列表；total_number：關注微博用戶的總量。 {...
-
Python讀取EXCEL表結構生成DDL一、說明 近期工作中需要對Excel維護的數據庫表表結構進行Oracle的DDL整理，故編寫如下腳本。該腳本識別固定Excel文件，讀取每個sheet頁的數據庫表結構信息后拼...
-
MapReduce實現詞頻統計
一、MapReduce編程指導思想 MapReduce的開發一共有八個步驟其中map階段分為2個步驟，shuffle階段4個步驟，reduce階段分為2個步驟。 1. Map...
-
Linux系統常用命令手冊
系統信息 date 顯示系統日期 關機 (系統的關機、重啟以及登出 ) 文件和目錄 文件搜索 掛載一個文件系統 磁盤空間 用戶和群組 文件的權限 文件的特殊屬性 打包和壓縮文...
-
HiveSQL優化方法與實踐(轉載)
前言 昨天我們已分享過一篇高質量HiveSQL優化的文章：HiveSQL優化方法與實踐[http://mp.weixin.qq.com/s?__biz=Mzg3NjIyNjQ...
-
Hive調優全方位指南(轉載)
正文目錄 1、表層面 1.1 利用分區表優化 1.2 利用分桶表優化 1.3 選擇合適的文件存儲格式 1.4 選擇合適的壓縮格式 2、HQL層面優化 2.1 執行計劃 2.1...
-
數據倉庫高級工程師面試（轉載）
思想和方法論： 如何建設數倉，如何構建主題域 緩慢變化維 幾種處理方式 什么是維度建模，星型模型與雪花模型的區別 數倉的好處 分層的好處 怎么做數據質量，怎么保證及時性和準確...
-
-
sql寫出網吧用戶中兩人一定認識的組合數
題目： 現有城市網吧訪問數據，字段：網吧id，訪客id（身份證號），上線時間，下線時間規則1、如果有兩個用戶在一家網吧的前后上下線時間在10分鐘以內，則兩人可能認識規則2、如...
-
Kafka producer消息大小參數配置
問題： 假如 max.request.size 大于 batch.size，那么該條消息會不會分多個 batch 發送到 broker？ 回復： 如果一個 ProducerR...
-
SQL每日一題(2020-07-17)--獲取中位數記錄
題目： Employee 表包含所有員工。Employee 表有三列：員工Id，公司名和薪水。 請編寫SQL查詢來查找每個公司的薪水中位數。挑戰點：你是否可以在不使用任何內置...
-
數據中臺 第3章：數據中臺建設與架構
1 持續讓數據用起來的價值框架 數據中臺作為整個企業各個業務所需數據服務的提供商，通過自身的平臺能力和業務對數據的不斷滋養（業務數據化），會形成一套高效可靠的數據資產體系和數...