備注:PG版本:14.3 一. 問題描述 今天早上到公司，突然發現備庫停了，然后主庫這邊沒找到報錯日志，備庫這般看到的日志是WAL日志的缺失 TPSpgAmin工具上看到，T...
發簡信
IP屬地：廣東
-
PG案例系列3: PG備庫WAL segment has already been removed -
大數據開發之Hive案例篇14：某個節點HDFS塊比較多一. 問題描述 今天早上到公司，突然收到CDH集群某個節點的存儲量的告警，如下圖所示: 從圖中可以看出，每個節點的HDFS空間是相同的，大多節點HDFS使用量在40%左右，而...
-
PG系列5：PG體系結構一. PG體系結構 1.1 PG的體系結構概述 PostgreSQL的主要結構如下： 1.2 PostgreSQL進程概述 PostgreSQL進程結構圖譜和分類: 二. P...
-
PG系列4：linux下編譯安裝PG15一. 源碼安裝 1.1 下載并解壓 1.2 安裝依賴包 1.3 開始編譯安裝 PG的編譯安裝比MySQL快很多 --注：請根據自己的實際情況選擇需要安裝的模塊 編譯時指定wa...
-
-
PG系列2：Linux下yum安裝PG 15一. 下載PG 官網地址: 選擇Downloadimage.png 選擇CentOSimage.png 選擇對應的版本image.png 二. 開始安裝 2.1 安裝數據庫 ...
-
StarRocks案例7:使用shell批量broker load導入hdfs數據
一. 問題描述 近期需要進行補錄數據，需要將hive的歷史數據遷移到StarRocks，因為需要補錄的數據較多，hive和StarRocks均使用的是分區表，兩邊的日期格式也...
-
StarRocks案例6: StarRocks同關系型數據庫的綁定變量功能
一. 問題描述 公司目前的業務是，實時和離線的數據，都導入StarRocks，然后后端根據前端傳入的條件來拼接SQL語句。使用過關系型數據庫的朋友應該知道，這樣會導致很多類似...
-
StarRocks案例5: hive外表報錯starrocks [42000][1064] hdfsOpenFile failed
一. 問題描述 StarRocks版本 2.5.5 現在需要使用hive外表，然后根據官網的的命令創建了hive resourceCREATE EXTERNAL RESOUR...
-
StarRocks案例4: Spark load第二次運行報錯
一. 問題描述 需求背景:CDH集群 Spark版本 2.4.0StarRocks版本 2.5.5 使用Spark 2.4.0客戶端會報錯，java.lang.NoClass...
-
大數據開發之Hive案例篇13：Hive SQL 常見參數調整
一. 問題描述 hive的一些默認參數設置不適合一些復雜的數據需求場景，需要針對具體情況進行調整。 二. 解決方案 以下是常見的調參:
-
大數據開發之Hive案例篇12：HDFS rebalance 一例一. 問題描述 公司的離線數倉是CDH集群，19個節點，HDFS存儲空間大約400TB左右，使用量在200TB左右。由于歷史遺留的問題，數據倉庫需要重構，新舊數倉在一段時間內...
-
PG系列1：windows下安裝PG15
一. 下載PG 官網地址: 選擇Downloadimage.png 選擇windowsimage.png Download the installerimage.png 點擊...
-
PG案例系列2:PG的執行計劃沒有走索引一. 問題描述 今天開發的找到我，說他創建了一個索引，但是查看執行計劃，依舊走的是全表掃描，很讓人頭疼。讓我幫忙分析下具體的原因。 二. 解決方案 我把復雜問題簡單化，就單表...
-
大數據開發之Hive案例篇11: 配置資源隊列一. 問題描述 公司有一個hadoop的集群。但是A項目組經常做一些定時的BI報表，B項目組則經常使用一些軟件做一些臨時需求。那么他們肯定會遇到同時提交任務的場景，這個時候到...
-
大數據開發之Hive案例篇10-大表笛卡爾積優化一. 問題描述 需求描述:表概述: 需要實現的需求 SQL代碼: 運行日志:從日志可以看到，數據傾斜了，redcue一直卡在99%不動，過一段時間就被斷開了。 web頁面日志...
-
大數據開發之Hive案例篇9-Not yet supported place for UDAF 'count'
一. 問題描述 一個很簡單的group by和count(*) 操作，然后居然報錯了 二. 解決方案 大概是在Oracle MySQL上寫SQL寫習慣了，以為可以這么寫。出了...
-
StarRocks案例3: 通過[broadcast] 優化慢SQL一. 問題描述 最近在使用StarRocks的時候，發現一個問題 table_a 10W 左右數據，通過where條件過濾數據后 剩下 10行數據。table_b 5億...
-
StarRocks案例2: 升級后性能變慢一. 問題描述 2023-05-18 將StarRocks從2.3.0升級到2.5.5。升級完成后，所有的查詢均比較慢，前端報表頁面點開也卡。 二. 解決方案 2.1 從慢查...
-
StarRocks案例1: DBeaver執行SQL報unknown error一. 問題描述 在DBeaver上執行某些SQL語句的時候，直接報 unknown error 二. 解決方案 首先命令行執行奇怪的是我直接用命令行連接沒報錯，可以正常運行成...