接下來從三個部分介紹下kafka 0.11及以上版本如何實現事務機制。 第一部分：kafka producer生產records的過程。 第二部分：kafka produce...
發簡信
IP屬地：北京
-
kafka 0.11 事務機制梳理 -
Netty系列-Bytebuf中pool、unpool、heap、Direct類型結構秒懂上一篇介紹了ByteBuffer和ByteBuf結構，Bytebuf提供接口方法要比ByteBuffer簡潔并強大。這篇在ByteBuf基礎上學習下主要的ByteBuf，包括...
-
Netty系列-一分鐘了解ByteBuffer和ByteBuf結構上一篇文章BIO、NIO掃盲主要介紹了BIO和NIO模型網絡結構，并通過簡單代碼說明BIO和NIO核心功能及使用。NIO通過多路復用選擇器Selector解耦server和c...
-
Netty系列-BIO、NIO 掃盲熟悉網絡編程的同學可能聽過BIO、NIO網絡模型。本篇文章作為Netty系列開篇，先從總體介紹下以上兩種網絡I/O模型。 BIO BIO(Blocking...
-
elasticsearch 常用知識概念在應用系統需要進行文本內容檢索時，這時不得不提到全文檢索。而全文檢索是將一個完整的信息源的全部內容轉化為計算機可以識別、處理的信息單元而形成的數據集合。比較有名的全文檢索軟件...
-
Hadoop yarn運行機制及調度過程知識hadoop主要組件有hdfs、yarn，hdfs是分布式文件系統，主要是進行文件的存儲，而yarn是hadoop集群資源管理系統，支持分布式計算模式，下面將介紹yarn的運...
-
MapReduce執行過程及shuffle詳解開始學習Hadoop時，經常會聽到MapReduce。MapReduce由Map和Reduce兩個階段，每個階段都是以鍵-值對作為輸入和輸出，Map階段是將數據進行映射處理，...
-
hive 主要sql整理在hive中進行數據處理和查詢時，常用又比較生僻sql整理。 group by and having group by通常會和聚合函數一起使用，按照某一個或者多個列對結果進行...
-
hive join操作sql整理
在使用hive進行數據加工處理時，經常要進行兩個數據表join關聯，接下來具體介紹hive sql中要使用的join。 本實驗用到a表和b表，表結構如下： hive> des...
-
數據倉庫inmon和kimkimball兩大派系之爭網上已經有很多關于數據倉庫特征的介紹，這里就不再贅述。主要是梳理下數據倉庫inmon和kimball兩大派系的特點。 kimball數據倉庫架構 Kimball架構是一種自下...
-
數據庫1NF-3NF范式深入理解關系型數據庫設計時為確保數據存儲規范化，通常需要按照范式設計數據，接下來主要介紹下1NF-3NF遞進式數據庫設計，4NF、5NF日常使用較少不包含在本次內容中。 首先總體描述...
-
深度學習入門系列：感知機到神經網絡前言 感知機可以表示部分復雜函數，但是在設定權重的工作，確定能符合預期的輸入與輸出權重需要由人工進行，而神經網絡可以自動從數據中學習到合適的權重參數 1、從感知機到神經網絡 ...
-
深度學習入門系列：感知機-多層感知機演變1、感知機 感知機接收多個輸入信號，輸出一個信號，上圖是一個接收兩個輸入信號的感知機的例子。 x1、 x2是輸入信號，y是輸出信號， w1、 w2是權重（w是weigh...
-
spark streaming 集成kafka0.10 offset是如何管理的源碼解析spark streaming+kafka 0.10集成默認spark partition和kafka partition數量是1:1，這樣可以使得每個spark pa...
-
