024:用Java實現shell命令cat 1.log | grep a | sort | uniq -c | sort -rn的功能

artificial-intelligence-codes-coding-247791.jpg

參考答案

這個問題考察的是對Linux命令的熟悉程度,以及對Java中集合操作的綜合運用,自從轉到Java 8以后,我就一直使用流來處理集合了,下面的代碼就是我用流來實現的參考答案

package org.java.learn.java8.stream;

import java.io.*;
import java.util.*;
import java.util.function.Function;
import java.util.stream.Collectors;

public class ShellExample {

    public static void main(String[] args) throws IOException {
        //cat命令,相當于是讀取文件中的所有行,并輸出
        File file = new File("/Users/duqi/IdeaProjects/LearnJava/src/main/java/org/java/learn/java8/stream/t1.txt");
        BufferedReader bufferedReader = new BufferedReader(new FileReader(file));
        List<String> lines = new ArrayList<>();
        String str = null;
        while ((str = bufferedReader.readLine()) != null) {
            lines.add(str);
        }

        //grep a,相當于filter
        lines = lines.stream().filter(s -> s.contains("a")).collect(Collectors.toList());

        //sort 按照字典序從小到大排序
        lines = lines.stream().sorted().collect(Collectors.toList());

        //uniq -c,統計相同的元素的個數
        Map<String, Long> integerMap =
                lines.stream().sorted().collect(Collectors.groupingBy(Function.identity(), Collectors.counting()));

        //sort -rn,排序后逆序輸出
        List<Long> res = integerMap.values().stream().sorted(Comparator.reverseOrder()).collect(Collectors.toList());

        res.forEach(System.out::println);
    }

}

知識點梳理

背景&基本概念

在以前,要操作一個集合,按照Java作為命令式語言的特點,開發者需要自己去關心集合的循環,每個循環里針對元素的操作(過濾、轉換、合并)等等,這些代碼寫起來很繁瑣,又容易出錯。

流(stream)是Java API的新成員,它允許開發者以聲明方式處理集合(類似于寫SQL),開發者只需要直接指明自己要做什么操作,而不需要關心對集合的迭代。使用流寫出來的代碼可讀性很好、表達能力很強,我目前在開發中,能使用流的地方一定會使用流,它幫助我減少了很多代碼行數。

流也需要對集合做迭代,只是JDK的開發者將迭代放在了API背后,稱為內部迭代,而集合的迭代則需要開發者自己維護,稱為外部迭代。使用內部迭代的好處,一方面開發者的代碼得以簡化,另一方面,流可以在內部對迭代進行種種優化,同時不影響開發者的業務代碼。

常見api

流的API分為兩種,中間操作和終端操作,中間操作產生的結果還是一個流,終端操作產生的結果可能是一個集合或者是一個數字,總之不是一個流。


stream.png

常見的流的操作有:篩選(filter)、切片(limit)、映射(map、flatMap)、查找(find)、匹配(match)和規約(reduce);流不僅支持串行操作,還支持并行操作,使用并行流可以提高處理超大集合時候的性能。這里我整理了自己在工作中常用的流操作:

操作 類型 返回類型 使用的類型/函數式接口 函數描述符
filter 中間 Stream<T> Predicate<T> T -> boolean
distinct 中間 Stream<T>
skip 中間 Stream<T> long
limit 中間 Stream<T> long
map 中間 Stream<R> Function<T, R> T -> R
flatMap 中間 Stream<R> Function<T, Stream<R>> T -> Stream<R>
sorted 中間 Stream<T> Comparator<T> (T, T) -> int
anyMatch 終端 boolean Predicate<T> T -> boolean
noneMatch 終端 boolean Predicate<T> T -> boolean
allMatch 終端 boolean Predicate<T> T -> boolean
findAny 終端 Optional<T>
findFirst 終端 Optional<T>
forEach 終端 void Consumer<T> T -> void
collect 終端 R Collector<T, A, R>
reduce 終端 Optional<T> BinaryOperator<T> (T, T) -> T
count 終端 Optional<T>

使用案例

假設有交易和交易員兩個概念——分別是下面的Trader和Transaction,現在有個交易列表,里面記錄了這些交易員在某些年份的交易。

交易員的定義

package stream;

import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;

/**
@Data
@AllArgsConstructor
@NoArgsConstructor
public class Trader {
    private String name;
    private String city;
}

交易的定義

package stream;

import lombok.AllArgsConstructor;
import lombok.Builder;
import lombok.Data;
import lombok.NoArgsConstructor;

/**
@Data
@AllArgsConstructor
@NoArgsConstructor
public class Transaction {
    private Trader trader;
    private int year;
    private int value;
}

上下文,有一個交易列表

package stream;

import java.util.Arrays;
import java.util.List;

public class StreamExample {
    public static void main(String[] args) {
        Trader raoul = new Trader("Raoul", "Cambridge");
        Trader mario = new Trader("Mario", "Milan");
        Trader alan = new Trader("Alan", "Cambridge");
        Trader brian = new Trader("Brian", "Cambridge");

        List<Transaction> transactions = Arrays.asList(
            new Transaction(brian, 2011, 300),
            new Transaction(raoul, 2012, 1000),
            new Transaction(raoul, 2011, 400),
            new Transaction(mario, 2012, 710),
            new Transaction(mario, 2012, 700),
            new Transaction(alan, 2012, 950)
        );
    }
}

基于上述背景,讀者可以跟著我做下面的這些練習:

  • 找出2011年所有的交易并按照交易額排序(從低到高)
List<Transaction> transactions2011 = transactions.stream()
    .filter(transaction -> transaction.getYear() == 2011) //過濾出所有2011年的交易
    .sorted(Comparator.comparing(Transaction::getValue))    //按照交易的金額排序
    .collect(Collectors.toList());  //將所有的結果整理成列表
  • 交易員都在哪些不同的城市工作過
List<String> cities = transactions.stream()            
    .map(transaction -> transaction.getTrader().getCity())
    .distinct()
    .collect(Collectors.toList());
  • 查找所有來自Cambridge的交易員,并按照姓名排序
List<Trader> traders = transactions.stream()
    .filter(transaction -> "Cambridge".equals(transaction.getTrader().getCity()))
    .map(Transaction::getTrader)
    .sorted(Comparator.comparing(Trader::getName))
    .collect(Collectors.toList());
  • 將所有交易員的姓名按照字母順序排序,并連接成一個字符串返回
String nameStr = transactions.stream()
    .map(transaction -> transaction.getTrader().getName())
    .distinct()
    .sorted()
    .collect(Collectors.joining());
  • 有沒有交易員是在Milan工作的?
boolean milanBased = transactions.stream()
    .anyMatch(transaction -> "Milan".equals(transaction.getTrader().getCity()));
  • 打印所有城市在劍橋的交易員的交易額
transactions.stream()
    .filter(transaction -> "Cambridge".equals(transaction.getTrader().getCity()))
    .map(Transaction::getValue)
    .forEach(System.out::println);
  • 所有交易中,最高的交易額是多少?
Optional<Integer> maxValue = transactions.stream()
    .map(Transaction::getValue)
    .reduce(Integer::max);
  • 將所有的交易按照年份分組,存放在一個Map中
Map<Integer, Transaction> yearMap = transactions.stream()
    .collect(Collectors.toMap(Transaction::getYear, transaction -> transaction));
  • 找到交易額最小的交易
Optional<Transaction> minTransaction = transactions.stream()
    .min(Comparator.comparing(Transaction::getValue));

參考資料

  1. https://www.journaldev.com/2774/java-8-stream
  2. 《Java 8實戰》
  3. https://docs.oracle.com/javase/8/docs/api/java/util/stream/package-summary.html#package.description

本號專注于后端技術、JVM問題排查和優化、Java面試題、個人成長和自我管理等主題,為讀者提供一線開發者的工作和成長經驗,期待你能在這里有所收獲。


javaadu
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,461評論 6 532
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,538評論 3 417
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 176,423評論 0 375
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,991評論 1 312
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,761評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,207評論 1 324
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,268評論 3 441
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,419評論 0 288
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,959評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,782評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,983評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,528評論 5 359
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,222評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,653評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,901評論 1 286
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,678評論 3 392
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,978評論 2 374

推薦閱讀更多精彩內容