發簡信
IP屬地：北京
-
RestTemplate在Spring Cloud中的三種用法
第一種,直接new一個RestTemplate實例將url寫死 第二種，利用Spring Cloud提供的LoadBalancerClient來...
-
Winston日志框架使用
winston日志框架使用 原來一直是使用log4js做日志輸出，原來只是輸出到標準輸出中，用了3年了，一直沒換過。現在為了將詳細的日志都記錄下...
-
HDFS（6）- distcp并行復制
我們可以用Java Api寫代碼進行復制文件或目錄，也可以使用hadoop fs -cp進行復制，可這兩種效率并不高，拷貝文件或目錄寫代碼也麻煩...
-
HDFS（5）- 數據流之寫入根據下圖介紹HDFS的寫入流程。 步驟 1. create 客戶端通過對DistributedFileSystem對象調用create()方法來...
-
HDFS（4）- 數據流之讀取HDFS文件讀取步驟是怎么樣的？我們通過下圖中的步驟順序一步步梳理，然后再看這樣設計的好處。 步驟（Java客戶端） 1. open 客戶端調用...
-
HDFS（3）- 不是只有HDFS，Hadoop文件系統全家桶
Hadoop文件系統全家桶 Hadoop有一個抽象的文件系統概念，HDFS只是其中一個實現。Java抽象類org.apache.hadoop.f...
-
HDFS（2）- 概念
1、數據塊（block） 數據塊是磁盤讀/寫的最小單位，每個磁盤都有默認的數據塊大小。HDFS作為分布式文件系統也有塊的概念，但是數據塊比較大，...
-
HDFS（1）- 設計
HDFS的設計 我們從以下角度分析： 超大文件HDFS可以并適合存儲超大文件。這里只具有幾百MB、幾百GB、甚至幾百TB大小的文件。目前已經有存...