1. 概述 Airflow是airbnb開源的基于DAG(有向無環(huán)圖)的用Python開發(fā)的任務(wù)管理系統(tǒng)。最簡單的理解就是一個高級版的crontab，它解決了crontab無...
發(fā)簡信
IP屬地：臺灣
-
Python - Airflow任務(wù)調(diào)度系統(tǒng)初識 -
-
Apache Doris——數(shù)據(jù)分布在 Doris 中，數(shù)據(jù)都以表（Table）的形式進(jìn)行邏輯上的描述。 名詞解釋 數(shù)據(jù)分布：數(shù)據(jù)分布是將數(shù)據(jù)劃分為子集, 按一定規(guī)則, 均衡地分布在不同節(jié)點(diǎn)上，以期最大限度地利...
-
Apache Doris——簡介1.概述 Apache Doris 是一個基于MPP架構(gòu)的高性能實(shí)時分析 OLAP 引擎，以其極快的速度和易用性而聞名。 它只需要亞秒的響應(yīng)時間即可在海量數(shù)據(jù)下返回查詢結(jié)果，...
-
數(shù)據(jù)治理十步法以下文章來源于談數(shù)據(jù) ，作者石秀峰 1、找癥狀，明確目標(biāo) 任何企業(yè)實(shí)施數(shù)據(jù)治理都不是為了治理數(shù)據(jù)而治理數(shù)據(jù)，其背后都是管理和業(yè)務(wù)目標(biāo)的驅(qū)動。企業(yè)中普遍存在的數(shù)據(jù)質(zhì)量問題有：數(shù)...
-
數(shù)據(jù)治理數(shù)據(jù)治理學(xué)習(xí)及梳理，理解不算深刻。丟失一次全部內(nèi)容，心態(tài)炸裂情況下先粗略寫了一般。后續(xù)充分結(jié)合地址數(shù)據(jù)治理進(jìn)行理解。 一、什么是數(shù)據(jù)治理為提高數(shù)據(jù)質(zhì)量而展開的業(yè)務(wù)、技術(shù)和管理...
-
-
DevOps與CICD的區(qū)別 及 docker、k8s的CICD思路1. DevOps簡介 DevOps 就是開發(fā)（Development）、測試（QA）、運(yùn)維（Operations）這三個領(lǐng)域的合并。 為什么要合并這三個領(lǐng)域？主要是開發(fā)和運(yùn)...
-
基礎(chǔ)設(shè)施即代碼（IaC）：方法論、辦法和優(yōu)秀實(shí)踐IaC的概述 由于現(xiàn)在的一切都致力實(shí)現(xiàn)數(shù)字化，尤其是在發(fā)生冠狀病毒疫情之后，現(xiàn)在正確管理組織的IT基礎(chǔ)設(shè)施變得尤為重要。 在此之前，對IT基礎(chǔ)設(shè)施的管理都是由組織的系統(tǒng)管理員...
-
-
【zookeeper】zookeeper用作注冊中心的原理現(xiàn)在對Zookeeper的注冊中心原理再深入研究一下，主要學(xué)習(xí)它的設(shè)計思想。一文帶你了解Zookeeper的注冊中心流程、探活機(jī)制、Watch機(jī)制和CP模型。 注冊中心基本概...
-
學(xué)習(xí)記錄13 Hadoop生態(tài)圈技術(shù)棧實(shí)操（一）
這里需要學(xué)習(xí)Linux常用的快捷鍵： 終端命令格式 command [-options] [parameter]第一個是命令名，第二個是選項(xiàng)，對命令進(jìn)行控制，也可以省略；第三...
-
-
覺得有用的可以點(diǎn)點(diǎn)贊，點(diǎn)點(diǎn)關(guān)注。
-
書籍1 實(shí)戰(zhàn)大數(shù)據(jù)（Hadoop+spark+Flink）1
這本書有8個章節(jié)，從基礎(chǔ)逐漸展開，但是書籍總共也只有236頁，還包含了Hadoop、spark和Flink三個知識點(diǎn)。所以感覺講得可能不太會很深入。這里畢竟是書籍的閱讀部分，...
-
21個MySQL表設(shè)計的經(jīng)驗(yàn)準(zhǔn)則1.命名規(guī)范 數(shù)據(jù)庫表名、字段名、索引名等都需要命名規(guī)范，可讀性高(一般要求用英文)，讓別人一看命名，就知道這個字段表示什么意思。 比如一個表的賬號字段，反例如下： 正例： ...
-
-
1億條數(shù)據(jù)批量插入 MySQL，哪種方式最快？利用JAVA向Mysql插入一億數(shù)量級數(shù)據(jù)—效率測評 這幾天研究mysql優(yōu)化中查詢效率時，發(fā)現(xiàn)測試的數(shù)據(jù)太少（10萬級別），利用 EXPLAIN 比較不同的 SQL 語句，...
-
學(xué)會這10種定時任務(wù)，我有點(diǎn)飄了前言 最近有幾個讀者私信給我，問我他們的業(yè)務(wù)場景，要用什么樣的定時任務(wù)。確實(shí)，在不用的業(yè)務(wù)場景下要用不同的定時任務(wù)，其實(shí)我們的選擇還是挺多的。我今天給大家總結(jié)10種非常實(shí)用的...
-
airflow從入門到精通學(xué)習(xí)筆記系列
本系列文章記錄本人從剛接觸airflow到在實(shí)際項(xiàng)目中使用airflow的學(xué)習(xí)筆記，一則記錄airflow的相關(guān)筆記加深自我理解；二則分享出來跟大伙一起討論進(jìn)步。 airfl...
