這篇文章先記錄一下在java代碼中對hdfs的基本操作。

打開eclipse，新建一個Map/Reduce工程。后臺運行起hadoop?？梢钥吹轿业哪夸浗Y構如下：

eclipse中的目錄

我新建了一個HdfsTest.java的類，我們就在這個類里面來實現對hdfs的基本操作。

1.hdfs上創建新文件

首先來看看利用hadoop的API如何創建新文件，主要代碼如下：

public static void createFile(String dst,byte[] contents) throws IOException{
  Configuration conf = new Configuration();
  conf.set("fs.defaultFS","hdfs://localhost:9000");
  FileSystem fs = FileSystem.get(conf);
  Path dstPath = new Path(dst);

  // 打開一個輸出流
  FSDataOutputStream outputStream = fs.create(dstPath);
  outputStream.write(contents); 
  outputStream.close();
  
  fs.close();
  System.out.println("創建文件成功");
}

來看看那些對應的類是什么意思？（僅僅是簡單描述，具體的可看官網API）

Configuration:配置類，生成配置對象。
FileSystem:文件系統的抽象類。
Path:看名字也就看得出來代表的是路徑。
FSDataOutputStream:hadoop提供的輸出流。

這里用到的主要的就是上面幾個類，其實整個過程就是獲取到hdfs上的路徑，然后通過輸出流的方式將數據給寫入到hdfs中。除了類略有不同外，和java操作IO流時基本一樣。

2.上傳文件到hdfs

接下來是上傳文件，同樣先看看代碼：

public static void uploadFile(String src,String dis) throws IOException{
  Configuration conf = new Configuration();
  conf.set("fs.defaultFS","hdfs://localhost:9000");
  FileSystem fs = FileSystem.get(conf);

  //原路徑
  Path srcPath = new Path(src);

  //目標路徑
  Path disPath = new Path(dis);

  fs.copyFromLocalFile(srcPath,disPath);
  fs.copyFromLocalFile(true,srcPath,disPath);
  
  //打印文件路徑
  System.out.println("上傳的路徑"+conf.get(fs.defaultFS));
  
  //獲取目錄信息
  FileStatus[] fileStatus = fs.listStatus(disPath);
  
  for(FileStatus file:fileStatus){
    System.out.println(file.getPath());
  }
}

這代碼和創建新文件的代碼看上去差不多，其實也差不多。還是那么幾個類，甚至還少了輸出流，利用FileSystem對象的方法就能實現上傳文件到hdfs。多出來的類如下：

FileStatus:該對象封裝了文件系統中文件和目錄的元數據，包括文件的長度、塊大小、備份數、修改時間、所有者以及權限等信息。

3.hdfs上文件的刪除

文件的刪除操作如下：

public static void deleteFile(String filepath) throws IOException{
  Configuration conf = new Configuration();
  conf.set("fs.defaultFS","hdfs://localhost:9000");
  FileSystem fs = FileSystem.get(conf);

  Path  path = new Path(filepath);
  
  //當文件系統關閉時才真正刪除此文件。
  //boolean isok = fs.deleteOnExit(path);
  //刪除文件或目錄,后面的boolean值是true，如果path是目錄，則會遞歸刪除下面的所有文件；如果path是文件，則false或true無所謂
  boolean isok = fs.delete(path,true);


  if(isok){
    System.out.println("文件刪除成功");
  }else{
    System.out.println("文件刪除失敗");
  }

  fs.close();
}

4.hdfs上目錄的創建

代碼如下：

public static void mkdir(String path) throws IOException{
  Configuration conf = new Configuration();
  conf.set("fs.defaultFS","hdfs://localhost:9000");
  FileSystem fs = FileSystem.get(conf);

  Path = path = new Path(path);

  boolean isok = fs.mkdirs(path);

  if(isok){
    System.out.println("創建文件夾成功");
  }else{
    System.out.println("創建文件夾失敗");
  }

  fs.close();
}

5.hdfs文件的讀取

代碼如下：

public static void readfile(String path) throws IOException{
  Configuration conf = new Configuration();
  conf.set("fs.defaultFS","hdfs://localhost:9000");
  FileSystem fs = FileSystem.get(conf);

  Path = path = new Path(path);

  InputStream in = null;

  try{
    in = fs.open(path);
  
    //讀取到標準輸出
    IOUtils.copyBytes(in,System.out,4096,false);
  }catch(IOException e){
    e.printStackTrace();
  }finally{
    IOUtils.closeStream(in);
  }

  fs.close();
}

以上僅僅是寫了些可能會常用的操作來熟悉用java操作hdfs文件系統。

下一篇記錄一下關于hadoop中的mapreduce框架。