1.2 密碼學及安全技術 1.2.1 密碼學知識 1.2.1.1 Hash函數 Hash(哈希)哈希函數是一類數學函數，可以在有限合理的時間內，將任意長度的消息壓縮為固定長度...
發簡信
IP屬地：河北
-
區塊鏈基礎之密碼學及安全技術
-
區塊鏈基礎之共識機制
1.1共識機制 1.1.1核心定義 區塊鏈上的共識機制主要解決由誰來構造區塊，以及如何維護區塊鏈統一的問題 1.1.2共識機制分類 1.1.3 共識算法 1.1.3.1 PO...
-
Fabric架構詳解1 整體架構 2 運行架構 Fabric CA(可選) peer：主節點模塊，負責存儲區塊鏈數據，運行維護鏈碼 orderer：交易打包，排序模塊 cryptogen：組織和...
-
區塊鏈應用：橢圓曲線數字簽名算法ECDSA1 橢圓曲線密碼學 橢圓曲線密碼學（Elliptic Curve Cryptography,縮寫ECC），是基于橢圓曲線數學理論實現的一種非對稱加密算法。橢圓曲線在密碼學中的...
-
Spark+Flink+Iceberg打造湖倉一體架構實踐探索
數據湖-大數據生態殺青數據湖-大數據生態殺青 數據倉庫的痛點 只能存儲結構化數據，無法采集存儲非結構化數據 無法存儲原始數據，所有的數據須經過ETL清洗過程 離線數倉的數據表...
-
2022 Mysql優化來一波
1 redo log（重做日志） 1）InnoDB首先將redo log放入到redo log buffer，然后按一定頻率將其刷新到redo log file。下列三種情況...
-
clickhouse 21.x生產實踐優化
1 時間字段類型 建表時能用數值型或日期時間型表示的字段就不要用字符串，全String 類型在以Hive(hbase)為中心的數倉建設中常見，但 ClickHouse 環境不...
-
2021 個人成長復盤
感恩2021，暢想2022 01 工作復盤 過去的一年里，你能往簡歷中濃妝艷抹地寫幾筆嗎？你學了什么新的技術？做了什么大的項目？取得了什么成績？獲得了什么認可？這一年你進步了...
-
Spark ML處理樣本類別不均衡問題
樣本類別分布不均衡導致的危害？ 樣本類別不均衡將導致樣本量少的分類所包含的特征過少，并很難從中提取規律； 即使得到分類模型，也容易產生過度依賴與有限的數據樣本而導致過擬合問題...
-
醫療機構數字化轉型 - CA無紙化診療
1 紙質化醫療行業痛點 《醫療機構管理條例實施細則》“門診病歷的保存期不得少于15年;住院病歷的保存期不得少于30年”紙質化醫療行業痛點 《電子病歷應用管理規范》“有條件的醫...
-
clickhouse 20.x實踐小計
1 列式存儲與行式存儲對比 采用行式存儲時，數據在磁盤上的組織結構為：行式存儲好處是想查某個人所有的屬性時，可以通過一次磁盤查找加順序讀取就可以。但是當想查所有人的年齡時，需...
-
spark3.x 生產調優筆記
1 spark sql寫入mysql非常慢 有這樣一個業務場景：需要將通過Spark處理之后的數據寫入MySQL，并在在網頁端進行可視化輸出。Spark處理之后有大概40萬條...
-
-
hive3.x on spark3.0生產調優實踐1 數據傾斜 絕大部分任務都很快完成，只有一個或者少數幾個任務執行的很慢甚至最終執行失敗，這樣的現象為數據傾斜現象。 將數據傾斜分為單表攜帶了 GroupBy 字段的查詢和兩...
-
Hadoop3.x生產環境調優之高可用
1 hadoop HA高可用 實現高可用最關鍵的策略是消除單點故障。HA嚴格來說應該分成各個組件的HA機制：HDFS的HA和YARN的HA。 前提：配置zookeeper集群...
-
Flink分布式緩存
分布式緩存 Flink提供了一個分布式緩存，類似于hadoop，可以使用戶在并行函數中很方便的讀取本地文件，并把它放在taskmanager節點中，防止task重復拉取。 此...
-
Flink 廣播變量
簡介 在Flink中，同一個算子可能存在若干個不同的并行實例，計算過程可能不在同一個Slot中進行，不同算子之間更是如此，因此不同算子的計算數據之間不能像Java數組之間一樣...