前言 前段時(shí)間升級(jí)了windows臺(tái)式機(jī),由于雙系統(tǒng)實(shí)在過(guò)于麻煩,而且現(xiàn)在wsl2已經(jīng)很成熟了, 可以帶來(lái)比較好的windows上的開(kāi)發(fā)體驗(yàn), 但是在環(huán)境準(zhǔn)備過(guò)程中還是有不少...
前言 前段時(shí)間升級(jí)了windows臺(tái)式機(jī),由于雙系統(tǒng)實(shí)在過(guò)于麻煩,而且現(xiàn)在wsl2已經(jīng)很成熟了, 可以帶來(lái)比較好的windows上的開(kāi)發(fā)體驗(yàn), 但是在環(huán)境準(zhǔn)備過(guò)程中還是有不少...
前言 最近在搞520大促的事情,忙到腳不點(diǎn)地,所以就寫些簡(jiǎn)單省事的吧。 物化視圖概念 我們都知道,數(shù)據(jù)庫(kù)中的視圖(view)是從一張或多張數(shù)據(jù)庫(kù)表查詢導(dǎo)出的虛擬表,反映基礎(chǔ)表...
Flink容錯(cuò)機(jī)制以及Chandy-Lamport算法 流式計(jì)算分為有狀態(tài)和無(wú)狀態(tài)兩種情況,所謂狀態(tài)就是計(jì)算過(guò)程中的中間值; 對(duì)于無(wú)狀態(tài)計(jì)算,會(huì)獨(dú)立觀察每個(gè)獨(dú)立事件,并根據(jù)最...
2019年天貓雙11再次刷新世界記錄,訂單創(chuàng)新峰值達(dá)到54.4萬(wàn)筆/秒,單日數(shù)據(jù)處理量達(dá)到970PB;支撐起這個(gè)雙十一狂歡神話是阿里強(qiáng)悍的數(shù)據(jù)云上系統(tǒng),這其中阿里的數(shù)據(jù)計(jì)算云...
內(nèi)容 sparkStreaming簡(jiǎn)介 spark Streaming和Storm區(qū)別 Spark Streaming算子 Spark checkpointing Spark...
Spark簡(jiǎn)介 Spark是專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎;Spark擁有Hadoop MapReduce所具有的優(yōu)點(diǎn),但是運(yùn)行速度卻比MapReduce有很大...
最近在新電腦上配置大數(shù)據(jù)開(kāi)發(fā)環(huán)境,踩了不少坑,更具網(wǎng)上的一些方法整理了一套比較簡(jiǎn)單的hadoop+zookeeper+hbase+hive環(huán)境的搭建(由于虛擬機(jī)環(huán)境均以roo...