工具人實錘!我用java中的文件IO流幫同事處理了足足18M的文本數據,淚目(一)

更多精彩請關注微信公眾號java小杰要加油,京東工程師和你一起成長

  • 全篇是基于磁盤文件IO操作
    image
image

關注此公眾號 java小杰要加油 ,后臺回復“09IO” 即可獲得此思維導圖以及文中全套代碼,重要的地方都有備注及注釋

流的概念

流,其實是個抽象的概念,就像我們生活中常見的水流一樣,那么水流就有從哪里來?到哪里去?這兩個問題,就分別對應的java中的數據源目的地,流中傳送的是java中要處理的數據,可以是字符形式也可以是字節形式

流的分類有以下幾種:

  1. 按流的傳送方向分:輸入流 Input,輸出流 Output

  2. 按流中的數據格式分:字節流,字符流

    • 字節流(Stream)可以處理一些文件照片視頻ppt等
    • 字符流(Writer Reader)只能處理純文本文件,例如txt文件

如下圖所示
image

我以前學的時候總是搞不清楚輸入流輸出流到底是從哪里來到哪里去,今天總結一下,感覺還挺便于理解的。

首先我們始終記住一點:我們的輸入流、輸出流是相對我們編寫的應用程序來說的。

假如說我們有一個A.txt文件,我們編寫了一個java程序,想操作這個A文件,將操作后的結果變為B文件。 那么這時

  • 輸入流就是從A文件到我們應用程序的這段流(從A文件輸入到了我們的應用程序中,讀,就是讀取A文件中的數據)
  • 輸出流就是從我們的應用程序到B文件的這段流(從應用程序輸出到了B文件中,寫,就是寫入到B文件中)

實戰演練之需求思路

說到API,這個IO流確實真的是太太太討厭了,API真的是太多太多了,就像高中背課文一樣,還總忘,著實很尷尬,不過我今天就把我的一些總結理解通過這個真實的例子寫出來(只是操作磁盤文件API),感覺或許會幫到一些忙呢

  • 需求:現在有一個A文件,A文件每一行的語句都有雙引號,我們需要編寫個程序,將每一行的雙引號去掉,再把結果寫到B文件中,達到下圖的效果就行
A文件

<figcaption style="margin-top: 5px; text-align: center; color: #888; font-size: 14px;">A文件</figcaption>

注意: 每一行的雙引號都去掉了

B文件

<figcaption style="margin-top: 5px; text-align: center; color: #888; font-size: 14px;">B文件</figcaption>

  1. 首先,我們操作A文件的話,肯定得有A文件這個對象對吧 ,他就是File, 以后的輸入輸出流緩沖區等等都是圍繞它的
  2. 其次,就像我們上一節說到的,我們得定義個輸入流對吧,得把A文件的數據出來,輸入到我們編寫的應用程序中去
  3. 最后,也像我們上一節說到的,我們得定義個輸出流對吧,得把我們應用程序處理好的數據進去,輸出到我們要存放的B文件中
    image

實戰演練之代碼實現

關注此公眾號 java小杰要加油 ,后臺回復“09IO” 即可獲得此思維導圖以及文中全套代碼,重要的地方都有備注及注釋

老大現在發給了我們一個A.txt,讓我們處理下,一個小時之后把處理好的文本B.txt發給他,所以我們現在有文件A,自己也可以創建個文件B.txt,如圖所示

image

我們來實現下

  • 輸入流:
//輸入流 (讀取數據到程序中)
    public static  List<String> read(String APath) throws IOException {
        //創建一個字節輸入流  從A.txt里讀取數據出來
        FileInputStream fileInputStream = new FileInputStream(APath);
        // 因為字節流的話,沒有行的概念,需要轉換成字符流
        InputStreamReader inputStreamReader = new InputStreamReader(fileInputStream, "UTF-8");
        //從轉換的字符輸入流中讀取文本,這個時候就有行的概念了
        BufferedReader bufferedReader = new BufferedReader(inputStreamReader);
        //讀出來的每一行的值
        String s = "";
        //用個list存儲修改后讀出來的每一行的值
        List<String> list = new ArrayList<String>();
        while ((s = bufferedReader.readLine()) != null) {
            //對讀出來的這一行的值進行操作,這次我們是替換引號,以后就是根據業務來操作了
            s =s.replace("\"","");
            //將修改后的值存儲進list
            list.add(s);
        }
        //關掉資源
        bufferedReader.close();
        inputStreamReader.close();
        fileInputStream.close();
        //打印下list,看下我們的list存儲的數據對不對(是不是去除引號后的數據)
        for (int i=0;i<list.size();i++){
            System.out.println(list.get(i));
        }
        return list;
    }

運行后控制臺的結果是
image
  • 輸出流:
//輸出流(從程序中輸出到B文本文件)
    public static void writer(String BPath, List<String> list) throws IOException{
         //字節輸出流,true的意思是追加在文件末尾,默認是false不追加,替換
         FileOutputStream fileOutputStream = new FileOutputStream(BPath,true);
         //將字節流轉換為字符流
         OutputStreamWriter outputStreamWriter = new OutputStreamWriter(fileOutputStream);
      //從轉換的字符輸出流中寫入文本,這個時候就有行的概念了
       BufferedWriter bufferedWriter = new BufferedWriter(outputStreamWriter);
        for (int i=0;i<list.size();i++){
            //將list內的內容寫入到文件中
            bufferedWriter.write(list.get(i));
            //換行
            bufferedWriter.newLine();
        }
        //關閉流
        bufferedWriter.close();
        System.out.println("寫入結束啦");
    }

這時我們打開B文件會發現內容已經從無到有了
B文件

我們代碼中做了很多層轉換,例如編寫輸入流時的代碼

//創建一個字節輸入流  從A.txt里讀取數據出來
        FileInputStream fileInputStream = new FileInputStream(APath);
        // 因為字節流的話,沒有行的概念,需要轉換成字符流
        InputStreamReader inputStreamReader = new InputStreamReader(fileInputStream, "UTF-8");
        //從轉換的字符輸入流中讀取文本,這個時候就有行的概念了
        BufferedReader bufferedReader = new BufferedReader(inputStreamReader);

編寫輸出流時的代碼

//字節輸出流,true的意思是追加在文件末尾,默認是false不追加,替換
         FileOutputStream fileOutputStream = new FileOutputStream(BPath,true);
         //將字節流轉換為字符流
         OutputStreamWriter outputStreamWriter = new OutputStreamWriter(fileOutputStream);
      //從轉換的字符輸出流中寫入文本,這個時候就有行的概念了
       BufferedWriter bufferedWriter = new BufferedWriter(outputStreamWriter);

那我們可不可以簡化下呢?當然是可以的啦

我們可以通過FileReaderFileWriter來簡化上面的字符流的讀寫操作。

  • FileReader
FileReader fileReader = new FileReader(APath);
   BufferedReader bufferedReader = new BufferedReader(fileReader);
  • FileWriter
    BufferedWriter bufferedWriter = new BufferedWriter(fileWriter);

結果還是一樣的,但是API變的更加精煉了起來。

API關系梳理

我們通過這個我實際遇到過的問題,來熟悉了解了下IO流的一些操作,我再梳理總結一下,如下圖所示(若有錯誤請指出,謝謝大佬們指點

image

  • 備注:若A->B 構造方法參數,則代表
A a = new A();
  B b = new B(a);
  • 其實我們只要靜下心來好好看看這個圖,然后動手操作幾次應該就會有個清晰的認知,而不是一上來就去看各種各樣的API,我反正是記不下來

關注此公眾號 java小杰要加油,后臺回復“09IO” 即可獲得此思維導圖以及文中全套代碼,重要的地方都有備注及注釋

  • 文中的這個例子,是我一個同事讓我幫忙處理一個大文本數據而產生的,那個大文本數據好多好多行,足足有18M,這篇文章,僅僅是個開始,后期我還會好好打磨代碼進行下效率對比進行下效率對比(緩沖區?多線程?),感興趣的就請關注我吧,以后處理大文本再也不怕啦,做一名合格的工具人!

更多精彩請關注微信公眾號java小杰要加油,京東工程師和你一起成長

往期精彩推薦

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 229,362評論 6 537
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,013評論 3 423
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 177,346評論 0 382
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,421評論 1 316
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,146評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,534評論 1 325
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,585評論 3 444
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,767評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,318評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,074評論 3 356
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,258評論 1 371
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,828評論 5 362
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,486評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,916評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,156評論 1 290
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,993評論 3 395
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,234評論 2 375

推薦閱讀更多精彩內容