本文將介紹 Airflow 這一款優(yōu)秀的調(diào)度工具。主要包括 Airflow 的服務(wù)構(gòu)成、Airflow 的 Web 界面、DAG 配置、常用配置以及 Airflow DAG ...
發(fā)簡信
IP屬地：廣東
-
淺談?wù){(diào)度工具——Airflow -
Git多項目管理
開發(fā)中我們經(jīng)常會遇到這樣的情況：項目越來越大，一些通用的模塊我們希望將他抽離出來作為單獨的項目，以便其他項目也可以使用，或者使用一些第三方庫，可能我們并不想將代碼直接拷貝進我...
-
30張圖帶你徹底理解紅黑樹寫在前面 當(dāng)在10億數(shù)據(jù)進行不到30次比較就能查找到目標(biāo)時，不禁感嘆編程之魅力！人類之偉大呀！ —— 學(xué)紅黑樹有感。 終于，在學(xué)習(xí)了幾天的紅黑樹相關(guān)的知識后，我想把我所學(xué)所想...
-
Spark Structured Streaming 寫checkpoint 到HDFS 抖動的排查問題描述 我們最近有個項目，需要實時消費訂單成單的消息，提煉完數(shù)據(jù)后把結(jié)果寫入HDFS，因此checkpointConfiguration 自然而然也采用默認配置寫到HDFS...
-
Spark Core 解析：RDD引言 Spark Core是Spark的核心部分，是Spark SQL，Spark Streaming，Spark MLlib等等其他模塊的基礎(chǔ), Spark Core提供了...
-
《奇葩說》金句集錦，每一句都能要了你的命上周末，最新一季的《奇葩說》迎來收官之戰(zhàn)。 劇情最后大反轉(zhuǎn)，陳銘老師喜提新一季“BBking”，如晶以微弱差距再次與“BBking”失之交臂。 下面，我們一起來回顧下《奇葩說...
-
給女朋友講解什么是Optional【JDK 8特性】
前言 只有光頭才能變強 前兩天帶女朋友去圖書館了，隨手就給她來了一本《與孩子一起學(xué)編程》的書，于是今天就給女朋友講解一下什么是Optional類。 至于她能不能看懂，那肯定是...
-
大廠的第一堂課，完整的git流程前言 大廠有著數(shù)量龐大的代碼庫以及復(fù)雜的權(quán)限驗證體系，囊括著開發(fā)、測試、上線的完整流程。因此必然會有一套代碼倉庫的管理流程，而不再是個人的代碼隨意開發(fā)、隨意提交。這也是我從小...
