?Linux中最重要的三個命令在業界被稱為“三劍客”,它們是awk,sed,grep。
??? 我們現在知道Linux下一切皆文件,對Linux的操作就是對文件的處理,那么怎么能更好的處理文件呢?這就要用到我們上面的三劍客命令。
??? 在說這三個命令前我們要插入一個小插曲就是“正則表達式”。
??? 所謂的正則表達式我個人理解就是正規的表示方法。他是用簡單的方法來實現強大的功能,所以深受計算機愛好者的使用。
??? 三劍客與正則表達式是什么關系呢?
??? 我們可以這樣理解,三劍客就是普通的命令,有的把他們叫做工具,在我看來都一樣。而正則表達式就好比一個模版。三劍客能讀懂這個模版。就這么簡單。注意只有三劍客才能讀懂這個模版哦!
??? 現在他們的關系和功能都搞懂了,接下來我們就來認識下他們怎么結合的。正則表達式是一個模版,這個模版是由一些普通字符和一些元字符組成。普通字符包括大小寫的字母和數字,而元字符則具有特殊的含義。具體如下
元字符??????????????? ? ? ? ? 功能???????????????????????????????????????????????????????? 意思
^???????????????????????????????? 匹配行首????????????????????????????????????????????????? 表示以某個字符開頭
$???????????????????????????????? 匹配行尾????????????????????????????????????????????????? 表示以某個字符結尾
^$?????????????????????????????? 空行的意思????????????????????????????????????????????? 表示空行的意思
?.???????????????????????????????? 匹配任意單個字符?????????????????????????????????? 表示任意一個字符
*???????????????????????????????? 字符*?? 匹配0或多個此字符???????????????????? 表示重復的任意多個字
\????????????????????????????????? 屏蔽一個元字符的特殊含義?????????????????? 表示去掉有意義的元字符的含義
[]???????????????????????????????? 匹配中括號內的字符????????????????????????????? 表示過濾括號內的字符
.*??????????????????????????????? 代表任意多個字符?????????????????????????????????? 就是代表任意多個字符
lele\{n\}?????????????????????? 用來匹配前面lele出現次數。n為次數?????? 就是統計前面lele出現的次數
lele\{n,\}????????????????????? 含義同上,但次數最少為n?????????????????
lele\{n,m\}?????????????????? lele出現次數在n與m之間
三劍客的功能非常強大,但我們只需要掌握他們分別擅長的領域即可:grep擅長查找功能,sed擅長取行和替換。awk擅長取列。
1.作用
Linux系統中grep命令是一種強大的文本搜索工具,它能使用正則表達式搜索文本,并把匹 配的行打印出來。grep全稱是Global Regular Expression Print,表示全局正則表達式版本,它的使用權限是所有用戶。
2.格式
grep [options]
3.主要參數
[options]主要參數:
--color=auto 對匹配到的文本著色顯示
-v 顯示不被pattern匹配到的行
-i 忽略字符大小寫
-n 顯示匹配的行號
-c 統計匹配的行數
-o 僅顯示匹配到的字符串
-q 靜默模式,不輸出任何信息
-A # after, 后#行
-B # before, 前#行
-C # context, 前后各#行
-e 實現多個選項間的邏輯or關系
grep –e ‘cat ’ -e ‘dog’ file
-w 匹配整個單詞
-E 使用ERE,相當于egrep
-F 相當于fgrep,不支持正則表達式
測試:
grep ? ? 匹配條件?? 處理文件
grep root passwd ##貪婪匹配
grep ^root passwd ##以root開頭
grep bash$ passwd ##以bash結尾
grep -i root passwd ##忽略大小寫
grep -E "root|ROOT" passwd ##后面條件可以是一個正則表達式
cat -b passwd | grep mail ##默認顯示mail所在行
cat -b passwd | grep mail -2 ##查看mail及上下兩行
cat -b passwd | grep mail -A2 ##查看mail及下兩行
cat -b passwd | grep mail -B2 ##查看mail及上兩行
'ws'
'w...s'
'w.....'
'.....s'
sed是一種流編輯器,它一次處理一行內容。處理時,把當前處理的行存儲在臨時緩沖區中,稱為“模式空間”(pattern space),接著用sed命令處理緩沖區中的內容,處理完成后,把緩沖區的內容送往屏幕。然后讀入下行,執行下一個循環。如果沒有使諸如‘D’ 的特殊命令,那會在兩個循環之間清空模式空間,但不會清空保留空間。這樣不斷重復,直到文件末尾。文件內容并沒有改變,除非你使用重定向存儲輸出。
1.sed命令格式
sed [option]...'script'inputfile
(1)選項
-n 不輸出模式空間內容到屏幕,即不自動打印
-e 多點編輯
-f /PATH/SCRIPT_FILE: 從指定文件中讀取編輯腳本
-r 支持使用擴展正則表達式
-i 直接編輯文件
-i.bak 備份文件并原處編輯
(2)script 地址定界
不給地址:對全文進行處理
單地址:
#: 指定的行,$:最后一行
/pattern/:被此處模式所能夠匹配到的每一行
地址范圍:
#,#
#,+#
/pat1/,/pat2/
`#,/pat1/
~:步進
1~2 奇數行
2~2 偶數行
(3)編輯命令:
d 刪除模式空間匹配的行,并立即啟用下一輪循環
p 打印當前模式空間內容,追加到默認輸出之后
a [\]text1 在指定行后面追加文本,支持使用\n實現多行追加
i [\]text 在行前面插入文本
c [\]text 替換行為單行或多行文本
w /path/somefile 保存模式匹配的行至指定文件
r /path/somefile 讀取指定文件的文本至模式空間中匹配到的行后
= 為模式空間中的行打印行號
! 模式空間中匹配行取反處理
s///:查找替換,支持使用其它分隔符,s@@@,s###
替換標記:
g 行內全局替換
p 顯示替換成功的行
w /PATH/TO/SOMEFILE 將替換成功的行保存至文件中
(1)p模式操作
catfstab -n | sed5p##編輯第五行,并在屏幕中顯示
catfstab -n | sed -n4p ##只顯示第五行
catfstab -n | sed -n3,6p##顯示3-5行內容
catfstab -n | sed -n '3p;6p' ##顯示第三行和第五行
sed-n'/#/p'fstab##顯示#所在行
sed -n'/#/!p'fstab##顯示不帶#的行
sed -n'/\:/p'fstab##顯示含:的行
sed -n'^UUID/p'fstab##顯示以UUID開頭的行
sed -n'/^$/!p'fstab##不顯示空白行
sed -n'/^$/!p'fstab | sed -n'/^#/!p'##不顯示空白行和#所在行
(2)d模式操作
sed'/^UUID/d'fstab##刪除UUID所在行
sed'/^UUID/!d'fstab##出UUID行,其他都刪除
sed'/^#/d'fstab##刪除所有含#的行
sed'/^$/d'fstab##刪除空格行
cat -n fstab | sed'5d'##刪除第五行
cat -n fstab | sed'2d;5d'##刪除第二行和第五行
cat -n fstab | sed'2,5d'##刪除2-5行
(3)a模式操作
sed'/^UUID/ahello'fstab##在UUID下一行添加
sed'/^UUID/ahello\nvan'fstab##在UUID下一行添加兩行
sed'4ahello\nvan'fstab##在第四行的下一行添加
sed'4ihello\nvan'fstab##在第四行插入
(4)c模式操作
sed'/#/chello'fstab##將所有含#的行改為hello
sed'/^#/cwestos'-i fstab##將所有含#的行給為westo并保存修改
練習:編寫一個腳本,用來改寫apache配置文件中的端口號
(5)w模式操作
sed'/^UUID/w file'fstab##將UUID所在行,導入file文件,該文件可以不存在
(6).sed的其他用法
6.1統計文件行數
sed -n '/^UUID/=' fstab????? ##統計文件的行數
sed '/^UUID/=' fstab???????? ##將行數放到UUID所處位置
sed -n '$=' fstab??????????? ##統計行數
wc -l fstab | cut -d " " -f 1
6.2插入內容
sed '6r /opt/insert' fstab?? ? ? ? ? ? ? ?? ? ? ##將/mnt/file文件的內容放到fstab文件的第六行后
sed '$r /opt/insert' fstab?? ? ? ? ? ? ? ? ?? ? ##將/mnt/file文件的內容放到fstab文件的最后
sed '$r /opt/insert' fstab -i fstab? ? ?? ?? ##保存對該文件的修改,該文件必須存在,不存在則不能使用該命令
sed '$r/opt/insert' fstab > test?? ??? ?? ?? ##?? ?保存修改到test文件中
6.3處理規則設定
sed -f rule fstab 根據文件中的規則對文件進行處理
vim rule
/^UUID/p
/UUID/=
6.4替換文件內容
sed 's/sbin/#########/g' passwd?? ??? ?##將文件所有sbin替換成########
sed '1,5s/sbin/#########/g' passwd?? ?##將文件前五行中的sbin替換成########
sed '/adm/,/halt/s/sbin/********/g' passwd?? ?##將adm到halt行中的sbin替換成*******
sed 's/\///g' passwd?? ??? ??? ?##將passwd文件中的所有/刪除
6.5 @與/等同
sed 's@/@#####@g' passwd?? ??? ?##將passwd文件中的所有/替換成#####,其中@也是/
sed 's@sbin@####@g;s/nologin/*******/g' passwd
sed -e 's@sbin@####@g' -e 's/nologin/!!!!!/g' passwd
?6.6其他命令
sed'G'fstab##在每一行后面添加一個空白行
sed'$!G'fstab
sed'='fstab##在每一行前添加行號
sed'='fstab | sed'N;s/\n//'##進行預處理