sed是一種流編輯器,它是文本處理中非常中的工具,能夠完美的配合正則表達(dá)式使用,功能不同凡響。處理時(shí),把當(dāng)前處理的行存儲(chǔ)在臨時(shí)緩沖區(qū)中,稱為“模式空間”(pattern space),接著用sed命令處理緩沖區(qū)中的內(nèi)容,處理完成后,把緩沖區(qū)的內(nèi)容送往屏幕。接著處理下一行,這樣不斷重復(fù),直到文件末尾。文件內(nèi)容并沒有 改變,除非你使用重定向存儲(chǔ)輸出。Sed主要用來(lái)自動(dòng)編輯一個(gè)或多個(gè)文件;簡(jiǎn)化對(duì)文件的反復(fù)操作;編寫轉(zhuǎn)換程序等。
在sed處理文件的時(shí)候,每一行都被保存在一個(gè)叫模式空間的臨時(shí)緩沖區(qū)中,除非行被刪除或者輸出被取消,否則所有被處理的行都將 打印在屏幕上。接著模式空間被清空,并存入新的一行等待處理。
一. sed的選項(xiàng)、命令、替換標(biāo)記
1.1 命令格式Command
sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)
1.2 選項(xiàng)Options
-e<script>或--expression=<script>:以選項(xiàng)中的指定的script來(lái)處理輸入的文本文件;
-f<script文件>或--file=<script文件>:以選項(xiàng)中指定的script文件來(lái)處理輸入的文本文件;
-h或--help:顯示幫助;
-n或--quiet或——silent:僅顯示script處理后的結(jié)果;
-V或--version:顯示版本信息。
-n, --quiet, --silent 靜默模式,取消將模式空間中的內(nèi)容自動(dòng)打印出來(lái)。
-i[SUFFIX], --in-place[=SUFFIX] 就地編輯文件,如果指定了‐i的值(suffix)sed將會(huì)備份一份原文件。
-r, --regexp-extended 在腳本中使用擴(kuò)展正則表達(dá)式。
-s, --separate 將輸入文件視為各個(gè)獨(dú)立的文件而不是一個(gè)長(zhǎng)的連續(xù)輸入。
--version 查看當(dāng)前sed版本
-u, --unbuffered 從輸入文件裝載最少的數(shù)據(jù),并且刷新輸出緩沖區(qū),也就是說盡量少緩沖input和output 要隨時(shí)更新。
1.3 參數(shù)Args
文件:指定待處理的文本文件列表。
1.4 sed命令
a\ 在當(dāng)前行下面插入文本。
i\ 在當(dāng)前行上面插入文本。
c\ 把選定的行改為新的文本。
d 刪除,刪除選擇的行。
D 刪除模板塊的第一行。
s 替換指定字符
h 拷貝模板塊的內(nèi)容到內(nèi)存中的緩沖區(qū)。
H 追加模板塊的內(nèi)容到內(nèi)存中的緩沖區(qū)。
g 獲得內(nèi)存緩沖區(qū)的內(nèi)容,并替代當(dāng)前模板塊中的文本。
G 獲得內(nèi)存緩沖區(qū)的內(nèi)容,并追加到當(dāng)前模板塊文本的后面。
l 列表不能打印字符的清單。
n 讀取下一個(gè)輸入行,用下一個(gè)命令處理新的行而不是用第一個(gè)命令。
N 追加下一個(gè)輸入行到模板塊后面并在二者間嵌入一個(gè)新行,改變當(dāng)前行號(hào)碼。
p 打印模板塊的行。
P(大寫) 打印模板塊的第一行。
q 退出Sed。
b lable 分支到腳本中帶有標(biāo)記的地方,如果分支不存在則分支到腳本的末尾。
r file 從file中讀行。
t label if分支,從最后一行開始,條件一旦滿足或者T,t命令,將導(dǎo)致分支到帶有標(biāo)號(hào)的命令處,或者到腳本的末尾。
T label 錯(cuò)誤分支,從最后一行開始,一旦發(fā)生錯(cuò)誤或者T,t命令,將導(dǎo)致分支到帶有標(biāo)號(hào)的命令處,或者到腳本的末尾。
w file 寫并追加模板塊到file末尾。
W file 寫并追加模板塊的第一行到file末尾。
! 表示后面的命令對(duì)所有沒有被選定的行發(fā)生作用。
= 打印當(dāng)前行號(hào)碼。
# 把注釋擴(kuò)展到下一個(gè)換行符以前。
1.5 sed替換標(biāo)記
g 表示行內(nèi)全面替換。
p 表示打印行。
w 表示把行寫入一個(gè)文件。
x 表示互換模板塊中的文本和緩沖區(qū)中的文本。
y 表示把一個(gè)字符翻譯為另外的字符(但是不用于正則表達(dá)式)
\1 子串匹配標(biāo)記
& 已匹配字符串標(biāo)記
1.6 sed元字符集-正則表達(dá)式元字符
^ 匹配行開始,如:/^sed/匹配所有以sed開頭的行。
$ 匹配行結(jié)束,如:/sed$/匹配所有以sed結(jié)尾的行。
. 匹配一個(gè)非換行符的任意字符,如:/s.d/匹配s后接一個(gè)任意字符,最后是d。
* 匹配0個(gè)或多個(gè)字符,如:/*sed/匹配所有模板是一個(gè)或多個(gè)空格后緊跟sed的行。
[] 匹配一個(gè)指定范圍內(nèi)的字符,如/[ss]ed/匹配sed和Sed。
[^] 匹配一個(gè)不在指定范圍內(nèi)的字符,如:/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一個(gè)字母開頭,緊跟ed的行。
\(..\) 匹配子串,保存匹配的字符,如s/\(love\)able/\1rs,loveable被替換成lovers。
& 保存搜索字符用來(lái)替換其他字符,如s/love/**&**/,love這成**love**。
\< 匹配單詞的開始,如:/\<love/匹配包含以love開頭的單詞的行。
\> 匹配單詞的結(jié)束,如/love\>/匹配包含以love結(jié)尾的單詞的行。
x\{m\} 重復(fù)字符x,m次,如:/0\{5\}/匹配包含5個(gè)0的行。
x\{m,\} 重復(fù)字符x,至少m次,如:/0\{5,\}/匹配至少有5個(gè)0的行。
x\{m,n\} 重復(fù)字符x,至少m次,不多于n次,如:/0\{5,10\}/匹配5~10個(gè)0的行。
二. sed中引入shell變量的四種方法
1.eval sed ’s/$a/$b/’ filename
2.sed "s/$a/$b/" filename
3.sed ’s/’$a’/’$b’/’ filename
4.sed s/$a/$b/ filename
如果在Makefile中使用,第3種方法比較不容易出錯(cuò)。
三.子串匹配標(biāo)記1
匹配給定樣式的其中一部分:
echo "digit 7 in a number" | sed 's/digit \([0-9]\)/\1/'
7 in a number
分解下:
-
s/xx/yy/
這是sed的替換表達(dá)式 -
\(xx\)
這是匹配一個(gè)組的,用于匹配子串。 -
\1
表示匹配到的第一個(gè);對(duì)于匹配到的第一個(gè)子串就標(biāo)記為\1
,依此類推匹配到的第二個(gè)結(jié)果就是\2
所以這句的流程是:
- 輸出"digit 7 in a number"字串
- 將符合
digit \([0-9]\)
模式匹配的字符串,用匹配到的第一個(gè)字符串進(jìn)行替換。 -
digit \([0-9]\)
匹配到的字符串是digit 7,其中\([0-9]\)
匹配到的字符串是7被標(biāo)記為\1
. -
\1
表示7,因?yàn)?code>\(..\)樣式匹配到的子串是 7,所以\1
不是digit 7. - 結(jié)果就是將字符串中的digit 7替換為7.
echo aaa BBB | sed 's/\([a-z]\+\) \([A-Z]\+\)/\2 \1/'
BBB aaa
love被標(biāo)記為1,所有l(wèi)oveable會(huì)被替換成lovers,并打印出來(lái):
sed -n 's/\(love\)able/\1rs/p' file
四.單行多點(diǎn)編輯功能
-e選項(xiàng)允許在同一行里執(zhí)行多條命令:編輯一個(gè)單行里多個(gè)地方。
sed -e '1,5d' -e 's/test/check/' file
上面sed表達(dá)式的第一條命令刪除1至5行,第二條命令用check替換test。命令的執(zhí)行順序?qū)Y(jié)果有影響。如果兩個(gè)命令都是替換命令,那么第一個(gè)替換命令將影響第二個(gè)替換命令的結(jié)果。
和 -e 等價(jià)的命令是 --expression:
sed --expression='s/test/check/' --expression='/love/d' file
五.定界符
以上命令中字符 /
在sed中作為定界符使用,也可以使用任意的定界符:
sed 's:test:TEXT:g'
sed 's|test|TEXT|g'
定界符出現(xiàn)在樣式內(nèi)部時(shí),需要進(jìn)行轉(zhuǎn)義:
sed 's/\/bin/\/usr\/local\/bin/g'
六. 已匹配字符串標(biāo)記&
正則表達(dá)式 \w\+
匹配每一個(gè)單詞,使用 [&]
替換它,&
對(duì)應(yīng)于之前所匹配到的單詞:
echo this is a test line | sed 's/\w\+/[&]/g'
[this] [is] [a] [test] [line]
所有以192.168.0.1開頭的行都會(huì)被替換成它自已加localhost:
sed 's/^192.168.0.1/&localhost/' file
192.168.0.1localhost
七. 組合多個(gè)表達(dá)式
sed '表達(dá)式' | sed '表達(dá)式'
等價(jià)于:
sed '表達(dá)式; 表達(dá)式'
八.基于文件的操作
從文件讀入:r命令
file里的內(nèi)容被讀進(jìn)來(lái),顯示在與test匹配的行后面,如果匹配多行,則file的內(nèi)容將顯示在所有匹配行的下面:
sed '/test/r file' filename
寫入文件:w命令
在example中所有包含test的行都被寫入file里:
sed -n '/test/w file' example
下一個(gè):n命令
如果test被匹配,則移動(dòng)到匹配行的下一行,替換這一行的aa,變?yōu)閎b,并打印該行,然后繼續(xù):
sed '/test/{ n; s/aa/bb/; }' file