線上任務調度工具執行 Hadoop Hive 相關的任務會偶發任務執行失敗的問題，日志報錯為 Kerberos 認證失敗。查看調度工具的運行邏輯：每次執行任務前先 kinit...
發簡信
IP屬地：北京
-
并發 kinit 導致 kerberos GSS initiate failed 定位與解決
-
Apache Pulsar 桌面端圖形化管理工具
Apache Pulsar 桌面端圖形化管理工具 Apache Pulsar 是 Apache 軟件基金會頂級項目，是下一代云原生分布式消息流平臺，集消息、存儲、輕量化函數式...
-
IMPALA常用命令COMPUTE STATS簡述前面介紹了HIVE的ANALYZE TABLE命令， IMPALA也提供了一個類似的命令叫COMPUTE STATS。這篇文章就是講講這個命令。 IMPALA的COMPUTE...
-
conda的安裝與使用 2.0版（2022-08-12更新）有很多的生信軟件都可以通過conda安裝，省去了很多的安裝、修bug的煩惱。經常是安裝到崩潰的軟件，conda一行命令就搞定了。前兩天有個胖友問我gatk 3.8的版本在哪里...
-
Spring boot參考指南
Spring Boot 參考指南 介紹 轉載自:https://www.gitbook.com/book/qbgbook/spring-boot-reference-guid...
-
詳解 Serverless 架構的 6 大應用場景簡介： Serverless 架構將成為未來云計算領域重要的技術架構，將會被更多的業務所采納。進一步深究，Serverless 架構在什么場景下有優秀的表現，在什么場景下可能...
-
實際使用Elasticdump工具對Elasticsearch集群進行數據備份和數據還原
文/朱季謙 目錄一、Elasticdump工具介紹[https://www.cnblogs.com/zhujiqian/p/14641972.html#title1]二、El...
-
MySQL 8 雙主設置
前言 前面已經講到了 MySQL 8 主從復制的設置，另一種 MySQL 高可用的架構是主-主的架構。這種結構的幾個數據庫都是主數據庫，每個數據庫數據的更新都會同步到其他的數...
-
CentOS7下 RPM 方式安裝 mongoDB 4
前言 以前自己沒有用過 mongoDB ，這次有個遷移環境的工作，所以需要安裝 mongoDB ，在這個過程中有一些坑，所以記錄一下，已備后期查詢 下載文件 當前最新的版本是...
-
Docker版MongoDB的安裝一. 什么是MongoDB MongoDB是現在主流的分布式文檔數據庫。一些字段不固定的數據，使用傳統數據庫就不太好處理，要么要建很多表互相關聯，要么要建很多冗余字段。而Mo...
-
正確使用Impala的invalidate metadata與refresh語句在Impala中，invalidate metadata與refresh語句都可以用來刷新表，但它們本質上還是不同的。本文簡要分析一下，并說明它們應該在什么情況下使用。 Im...
-
Slurm作業調度系統運行一、Slurm常規運行操作在HPC上運行任務的主要方法是通過sbatch命令提交一個腳本。例如： sabtch MyJobScript.sh在MyJobScript.sh中的...
-
頻繁使用MySQL，磁盤IO高峰或爆滿，innodb_buffer_pool_size解決方案原因：最近項目優化過程中，偶然發現本地服務器每過10s就會有一次磁盤爆滿的現象。在我們的項目中發現本地項目中存在一個用作“同步數據”的定時任務每過10s就查詢數據庫表，并把這...
-
分布式系統的緩存設計一、緩存簡介 1.1 什么是緩存 緩存就是數據交換的緩沖區。緩存的本質是一個內存 Hash。緩存是一種利用空間換時間的設計，其目標就是更快、更近。 將數據寫入/讀取速度更快的...
-
Linux SSL證書安裝1. 查找nginx 的安裝位置： 2. 上傳證書： 3. 移動證書到 cert 文件夾 4. 配置 5. 完整nginx.conf 配置 6. 前端可以了，但是后臺還不是h...
-
impala查詢作業超時分析
版權聲明：本文為博主原創文章，未經博主允許不得轉載。http://www.lxweimin.com/p/979eca668755 生產在線集群impala查詢，多個作業超時 ...
-
hadoop 集群 rebalance 和磁盤 均衡在我們使用hadoop集群的時候 ，由于 日志 數據不斷流入寫入到hdfs上，而且 算法人員 不斷的清洗 數據做特征工程 又會產生 新的中間數據 ，而且量一點都不小。這個時...