Linux三劍客 grep sed awk 詳細使用方法

?Linux中最重要的三個命令在業界被稱為“三劍客”,它們是awk,sed,grep。

??? 我們現在知道Linux下一切皆文件,對Linux的操作就是對文件的處理,那么怎么能更好的處理文件呢?這就要用到我們上面的三劍客命令。

??? 在說這三個命令前我們要插入一個小插曲就是“正則表達式”。

一、正則表達式

??? 所謂的正則表達式我個人理解就是正規的表示方法。他是用簡單的方法來實現強大的功能,所以深受計算機愛好者的使用。

??? 三劍客與正則表達式是什么關系呢?

??? 我們可以這樣理解,三劍客就是普通的命令,有的把他們叫做工具,在我看來都一樣。而正則表達式就好比一個模版。三劍客能讀懂這個模版。就這么簡單。注意只有三劍客才能讀懂這個模版哦!

??? 現在他們的關系和功能都搞懂了,接下來我們就來認識下他們怎么結合的。正則表達式是一個模版,這個模版是由一些普通字符和一些元字符組成。普通字符包括大小寫的字母和數字,而元字符則具有特殊的含義。具體如下

元字符??????????????? ? ? ? ? 功能???????????????????????????????????????????????????????? 意思

^???????????????????????????????? 匹配行首????????????????????????????????????????????????? 表示以某個字符開頭

$???????????????????????????????? 匹配行尾????????????????????????????????????????????????? 表示以某個字符結尾

^$?????????????????????????????? 空行的意思????????????????????????????????????????????? 表示空行的意思

?.???????????????????????????????? 匹配任意單個字符?????????????????????????????????? 表示任意一個字符

*???????????????????????????????? 字符*?? 匹配0或多個此字符???????????????????? 表示重復的任意多個字

\????????????????????????????????? 屏蔽一個元字符的特殊含義?????????????????? 表示去掉有意義的元字符的含義

[]???????????????????????????????? 匹配中括號內的字符????????????????????????????? 表示過濾括號內的字符

.*??????????????????????????????? 代表任意多個字符?????????????????????????????????? 就是代表任意多個字符

lele\{n\}?????????????????????? 用來匹配前面lele出現次數。n為次數?????? 就是統計前面lele出現的次數

lele\{n,\}????????????????????? 含義同上,但次數最少為n?????????????????

lele\{n,m\}?????????????????? lele出現次數在n與m之間

三劍客的功能非常強大,但我們只需要掌握他們分別擅長的領域即可:grep擅長查找功能,sed擅長取行和替換。awk擅長取列。

二、grep

1.作用

Linux系統中grep命令是一種強大的文本搜索工具,它能使用正則表達式搜索文本,并把匹 配的行打印出來。grep全稱是Global Regular Expression Print,表示全局正則表達式版本,它的使用權限是所有用戶。

2.格式

grep [options]

3.主要參數

[options]主要參數:

--color=auto 對匹配到的文本著色顯示

-v 顯示不被pattern匹配到的行

-i 忽略字符大小寫

-n 顯示匹配的行號

-c 統計匹配的行數

-o 僅顯示匹配到的字符串

-q 靜默模式,不輸出任何信息

-A # after, 后#行

-B # before, 前#行

-C # context, 前后各#行

-e 實現多個選項間的邏輯or關系

grep –e ‘cat ’ -e ‘dog’ file

-w 匹配整個單詞

-E 使用ERE,相當于egrep

-F 相當于fgrep,不支持正則表達式

測試:

grep ? ? 匹配條件?? 處理文件

grep root passwd ##貪婪匹配

grep ^root passwd ##以root開頭

grep bash$ passwd ##以bash結尾

grep -i root passwd ##忽略大小寫

grep -E "root|ROOT" passwd ##后面條件可以是一個正則表達式

cat -b passwd | grep mail ##默認顯示mail所在行

cat -b passwd | grep mail -2 ##查看mail及上下兩行

cat -b passwd | grep mail -A2 ##查看mail及下兩行

cat -b passwd | grep mail -B2 ##查看mail及上兩行

'ws'

'w...s'

'w.....'

'.....s'

三、sed

sed是一種流編輯器,它一次處理一行內容。處理時,把當前處理的行存儲在臨時緩沖區中,稱為“模式空間”(pattern space),接著用sed命令處理緩沖區中的內容,處理完成后,把緩沖區的內容送往屏幕。然后讀入下行,執行下一個循環。如果沒有使諸如‘D’ 的特殊命令,那會在兩個循環之間清空模式空間,但不會清空保留空間。這樣不斷重復,直到文件末尾。文件內容并沒有改變,除非你使用重定向存儲輸出。

1.sed命令格式

sed [option]...'script'inputfile

(1)選項

-n 不輸出模式空間內容到屏幕,即不自動打印

-e 多點編輯

-f /PATH/SCRIPT_FILE: 從指定文件中讀取編輯腳本

-r 支持使用擴展正則表達式

-i 直接編輯文件

-i.bak 備份文件并原處編輯

(2)script 地址定界

不給地址:對全文進行處理

單地址:

#: 指定的行,$:最后一行

/pattern/:被此處模式所能夠匹配到的每一行

地址范圍:

#,#

#,+#

/pat1/,/pat2/

`#,/pat1/

~:步進

1~2 奇數行

2~2 偶數行

(3)編輯命令:

d 刪除模式空間匹配的行,并立即啟用下一輪循環

p 打印當前模式空間內容,追加到默認輸出之后

a [\]text1 在指定行后面追加文本,支持使用\n實現多行追加

i [\]text 在行前面插入文本

c [\]text 替換行為單行或多行文本

w /path/somefile 保存模式匹配的行至指定文件

r /path/somefile 讀取指定文件的文本至模式空間中匹配到的行后

= 為模式空間中的行打印行號

! 模式空間中匹配行取反處理

s///:查找替換,支持使用其它分隔符,s@@@,s###

替換標記:

g 行內全局替換

p 顯示替換成功的行

w /PATH/TO/SOMEFILE 將替換成功的行保存至文件中

(1)p模式操作

catfstab -n | sed5p##編輯第五行,并在屏幕中顯示

catfstab -n | sed -n4p ##只顯示第五行

catfstab -n | sed -n3,6p##顯示3-5行內容

catfstab -n | sed -n '3p;6p' ##顯示第三行和第五行

sed-n'/#/p'fstab##顯示#所在行

sed -n'/#/!p'fstab##顯示不帶#的行

sed -n'/\:/p'fstab##顯示含:的行

sed -n'^UUID/p'fstab##顯示以UUID開頭的行

sed -n'/^$/!p'fstab##不顯示空白行

sed -n'/^$/!p'fstab | sed -n'/^#/!p'##不顯示空白行和#所在行

(2)d模式操作

sed'/^UUID/d'fstab##刪除UUID所在行

sed'/^UUID/!d'fstab##出UUID行,其他都刪除

sed'/^#/d'fstab##刪除所有含#的行

sed'/^$/d'fstab##刪除空格行

cat -n fstab | sed'5d'##刪除第五行

cat -n fstab | sed'2d;5d'##刪除第二行和第五行

cat -n fstab | sed'2,5d'##刪除2-5行

(3)a模式操作

sed'/^UUID/ahello'fstab##在UUID下一行添加

sed'/^UUID/ahello\nvan'fstab##在UUID下一行添加兩行

sed'4ahello\nvan'fstab##在第四行的下一行添加

sed'4ihello\nvan'fstab##在第四行插入

(4)c模式操作

sed'/#/chello'fstab##將所有含#的行改為hello

sed'/^#/cwestos'-i fstab##將所有含#的行給為westo并保存修改

練習:編寫一個腳本,用來改寫apache配置文件中的端口號

(5)w模式操作

sed'/^UUID/w file'fstab##將UUID所在行,導入file文件,該文件可以不存在

(6).sed的其他用法

6.1統計文件行數

sed -n '/^UUID/=' fstab????? ##統計文件的行數

sed '/^UUID/=' fstab???????? ##將行數放到UUID所處位置

sed -n '$=' fstab??????????? ##統計行數

wc -l fstab | cut -d " " -f 1

6.2插入內容

sed '6r /opt/insert' fstab?? ? ? ? ? ? ? ?? ? ? ##將/mnt/file文件的內容放到fstab文件的第六行后

sed '$r /opt/insert' fstab?? ? ? ? ? ? ? ? ?? ? ##將/mnt/file文件的內容放到fstab文件的最后

sed '$r /opt/insert' fstab -i fstab? ? ?? ?? ##保存對該文件的修改,該文件必須存在,不存在則不能使用該命令

sed '$r/opt/insert' fstab > test?? ??? ?? ?? ##?? ?保存修改到test文件中

6.3處理規則設定

sed -f rule fstab 根據文件中的規則對文件進行處理

vim rule

/^UUID/p

/UUID/=

6.4替換文件內容

sed 's/sbin/#########/g' passwd?? ??? ?##將文件所有sbin替換成########

sed '1,5s/sbin/#########/g' passwd?? ?##將文件前五行中的sbin替換成########

sed '/adm/,/halt/s/sbin/********/g' passwd?? ?##將adm到halt行中的sbin替換成*******

sed 's/\///g' passwd?? ??? ??? ?##將passwd文件中的所有/刪除

6.5 @與/等同

sed 's@/@#####@g' passwd?? ??? ?##將passwd文件中的所有/替換成#####,其中@也是/

sed 's@sbin@####@g;s/nologin/*******/g' passwd

sed -e 's@sbin@####@g' -e 's/nologin/!!!!!/g' passwd

?6.6其他命令

sed'G'fstab##在每一行后面添加一個空白行

sed'$!G'fstab

sed'='fstab##在每一行前添加行號

sed'='fstab | sed'N;s/\n//'##進行預處理

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 229,001評論 6 537
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,786評論 3 423
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事?!?“怎么了?”我有些...
    開封第一講書人閱讀 176,986評論 0 381
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,204評論 1 315
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,964評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,354評論 1 324
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,410評論 3 444
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,554評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,106評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,918評論 3 356
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,093評論 1 371
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,648評論 5 362
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,342評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,755評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,009評論 1 289
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,839評論 3 395
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,107評論 2 375

推薦閱讀更多精彩內容