發簡信
IP屬地：廣西
-
SparkSQL讀取Hive數據插入Redis
（1）背景目前使用Python讀取Hive表，解析轉換之后并發插入Redis，使用fetchone方法讀取速度較慢，Python轉換處理的速度也...
-
javax.jdo.JDOFatalUserException: Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found
javax.jdo.JDOFatalUserException: Class org.datanucleus.api.jdo.JDOPersis...
-
Spark Yarn-cluster與Yarn-client在Spark中，有Yarn-Client和Yarn-Cluster兩種模式可以運行在Yarn上，通常Yarn-cluster適用于生產環境，而Y...
-
Caused by: java.nio.channels.ClosedChannelException
多個分區表報錯：Caused by: java.nio.channels.ClosedChannelExceptionat org.apache...
-
Unable to close OrcFileMergeOperator
報錯：Caused by: java.io.IOException: org.apache.hadoop.hive.ql.metadata.Hi...
-
Hive插入多個分區時OOM故障解決記錄
一、故障情景 基于Hive的數據倉庫中需要做一張累積快照表，記錄了客戶發生各個行為的具體日期，比如激活日期、注冊日期、申請日期、創建訂單日期等等...
-
數據倉庫中如何做增量處理
為什么做增量數據量大，只需要增量最新被更改的數據。 如何做增量（1）insert into比如行為數據，發生一條記錄就插入一條，數據不會被upd...
-
在數據倉庫中如何做分桶
為什么分桶 （1）獲得更高的查詢處理效率。桶為表加上了額外的結構，Hive在處理有些查詢時能利用這個結構。具體而言，連接兩個在（包含連接列的）相...
-
在數據倉庫中如何做分區表
為什么做分區 分區表將數據組織成分區，主要可以提高數據的查詢速度。 如果把一年或者一個月的日志文件存放在一個表下，那么數據量會非常的大，當查詢這...