Linux之Sed工具的使用詳解

Sed工具工作原理及特性

  • 1. sed是流編輯器，每一次讀取一行到內(nèi)存中，即稱之為模式空間(pattern space)
  • 2. 默認(rèn)不修改原文件，如果需要修改需加-i參數(shù)
  • 3. sed有模式空間及保持空間(hold sapce)，默認(rèn)打印模式空間中的內(nèi)容到標(biāo)準(zhǔn)輸出
  • 4. 默認(rèn)情況下，模式空間中的內(nèi)容打印一次，被模式匹配到的內(nèi)容被命令動(dòng)作處理過(guò)，一般情況下會(huì)再次打印 到標(biāo)準(zhǔn)輸出，除非使用d選項(xiàng)。
  • 5. sed讀取每行的時(shí)候會(huì)將內(nèi)容保存至內(nèi)存中
  • 6. 支持正則和擴(kuò)展正則表達(dá)式，除-y選項(xiàng)

Sed命令

sed - ed - stream editor for filtering and transforming text
  • synopsis: sed [OPTION]... {script} [input-file]…

    • 常用格式： sed 選項(xiàng) 地址定界 編輯命令 文件

    • [Options]
      • -n : 不輸出模式空間中的內(nèi)容至屏幕，即關(guān)閉不能被模式匹配到的行到標(biāo)準(zhǔn)輸出中
      • -e : 多項(xiàng)編輯一次執(zhí)行
      • -f FILE : FILE中每行是一個(gè)操作命令
      • -r : 支持?jǐn)U展正則表達(dá)式
      • -i : 直接保存至原文件中
    • 地址定界常規(guī)方法
      • 1 空地址：即對(duì)全文進(jìn)行處理
        • sed 's/root/ROOT/' /etc/passwd
      • 2 單地址：
        • # : 指定行
          • sed -n '1,5{/^#/p}' fstab
          • sed '1,+5{/^#/d}' fstab
        • /pattern/ : 被模式匹配到的每一行
          • sed '/^root/p' /etc/passwd
      • 3 地址范圍
        • #,# : 從#號(hào)行到#號(hào)行
          • sed '2,3d' /etc/fstab : 顯示除2到3行的所有行
        • #,+# : 從#號(hào)行向下#行
          • sed '2,+5d' /etc/fstab : 刪除2到5行
        • #,/pattern/ : 從#號(hào)行到被模式匹配到的行
          • sed '1,/^UUID/d' fstab1 : 刪除從第1行到被模式匹配到的第一個(gè)行的位置，刪除
        • /pattern1/,/pattern2/ : 從模式1匹配到的行到被模式2匹配到的行
          • sed -n '/^[/]/p' fstab1 : 顯示為/開始的行
          • sed '/^#/d' fstab1 : 顯示開始為#號(hào)的行
        • $ : 表示最后一行
          • sed '$d' fstab1 : 刪除最后一行
      • 4 步進(jìn)地址表示法：
        • 1~2: 所有奇數(shù)行
          • sed -n '1~2p' fstab1
        • 2~2: 所有偶數(shù)行
          • sed -n '2~2p' fatab1
    • sed編輯命令
      • d : 刪除模式空間中的內(nèi)容
        • 示例:
          • sed '1,5d' FILE : 刪除1到5行的內(nèi)容
          • sed '1~2d' FILE : 刪除奇數(shù)行，只顯示偶數(shù)行
      • p : 顯示被模式框定的內(nèi)容
        • 示例：
          • sed '1~2p' FILE : 顯示奇數(shù)行，如果只需要顯示一次，需要使用-n關(guān)閉默認(rèn)模式空間的內(nèi)容
          • sed -n '/./p' a.sh : 顯示非空行，但對(duì)制表符無(wú)效
      • P : 只顯示模式空間中的第一行
        • 示例：
          • seq 5 | sed -n 'N;P' : 顯示結(jié)果為1、3兩行
      • a \line : 追加line行至匹配到行的后面，如果是多行可使用\n實(shí)現(xiàn)多行追加
        • 示例：
          • sed '/^UUID/ a\line1\nline2' fstab :查找匹配到UUID開始的行，并在后面添加line1,line2兩行內(nèi)容
      • i \line : 添加line行到匹配行的前面，如果是多行可使用\n實(shí)現(xiàn)多行添加
        • 示例：
          • sed '/^UUID/i \line1\nline2' fstab :查找匹配到UUID開始的行，并在其前面增加line1,line2兩行內(nèi)容
      • c \line : 把匹配到的行替換為line行
        • 示例
          • sed '/^UUID/c \newline' fstab1 : 匹配以UUID開始的行，并把其替換為newline行
      • w /PATH : 將模式空間匹配到的行，寫入指定文件中
        • 示例
          • sed '/#/!w ./w.txt' fstab : 匹配非#開始的行，并寫入當(dāng)前目錄下的w.txt文件中
      • r /PATH : 將PATH中指定的文件寫入匹配到的行下方，多用于文件合并。
        • 示例：
          • sed '/^UUID/r ./w.txt' fstab :把當(dāng)前目錄下的w.txt文件寫入到以UUID開頭的行下
      • q : 退出sed,一般用于打印到第幾行即退出
        • 示例：
          • sed '10q' FILE : 只打印文件中的前10行，等同于sed -n '1,10p' FILE
      • y : 完成大小寫替換（等同于s///,基本不用）
        • sed '1,15y/UUID/uuid/' fstab1 :替換1到15行的內(nèi)容UUID為uuid
        • sed 'y/UUID/uuid/' fstab1 : 替換全文每行中的第一個(gè)匹配到的
      • = : 匹配到的行，顯示一個(gè)行號(hào)，默認(rèn)在其匹配到的行上方顯示對(duì)應(yīng)的行號(hào)，如果需要只顯示行號(hào)，需要加-n參數(shù)，把模式空間中的內(nèi)容關(guān)閉顯示。
        • 示例
          • sed '/^UUID/=' fstab : 在匹配到UUID開頭的行上一行打印其行號(hào)
          • sed -n '$=' fstab : 顯示最后一行的行號(hào)，一般可用于顯示文本的總行數(shù)。
          • sed '/./=' File : 顯示所有行的行號(hào)，但空行不顯示行號(hào)
      • ! : 條件取反，一般用于模式之后，命令之前
        • 示例
          • sed '/^#/!d' FILE : 只顯示非注釋的行
      • s/// : 字符替換查找，其分隔符可自動(dòng)指定，常用的有,s@@@、s###。
        • 替換標(biāo)記操作符
          • g : 全局替換，不加g只能每行開始的第一個(gè)匹配操作
            • 如果只想從第幾次開始替換，可使用3g即Ng(N代表一個(gè)數(shù)值)
          • w /PATH: 將替換成功的結(jié)果保存至指定文件中
          • p : 顯示替換成功的行
            • 示例
              • sed 's/UUID/uuid/' fstab : 將UUID替換為uuid
              • sed 's/love/& you' FILE: 將love替換為love you,&`表示對(duì)前面模式的引用
              • sed 's/^\(UUID\).*/\1 Hello/' fstab1 : 將UUID開頭的行替換為UUID Hello的內(nèi)容
              • sed -n '1,15s/^UUID/uuid/gp' fstab : 查找1到15行以UUID開始的行，并將其替換為uuid，并且只顯示被替換過(guò)的行
              • sed 's/.$//' File 將每行中最后一個(gè)字符刪除，.$代表每行的最后一個(gè)字符
      • h : 把模式空間中的內(nèi)容覆蓋至保持空間中
      • H : 把模式空間中的內(nèi)容追加至保持空間中
      • g : 把保持空間中的內(nèi)容覆蓋至模式空間中
      • G : 把保持空間中的內(nèi)容追加至模式空間中
      • x : 把模式空間中的內(nèi)容到保持空間中的內(nèi)容互換，初始保持空間中為空
      • n : 讀取下一行覆蓋模式空間中的行
        • seq 11 | sed 'n;d' : 顯示結(jié)果為1、3、5、7、9、11 ，默認(rèn)動(dòng)作先輸出模式空間中的行，再覆蓋讀取下一行，再執(zhí)行d命令
        • seq 10 | sed 'n;d' : 顯示結(jié)果為1、3、5、7、9
      • N : 讀取下一行并追加到模式空間中的行后面，使用\n分隔
        • seq 11 | sed 'N;d' : 顯示結(jié)果為11，默認(rèn)動(dòng)作先讀取兩行，然后執(zhí)行d操作
        • seq 10 | sed 'N;d' :顯示結(jié)果為空
      • D : 刪除模式空間中的多行
        • seq 11 | sed 'N;D' : 顯示結(jié)果為11
      • {} : 多命令同時(shí)執(zhí)行時(shí)，需要使用{}括起來(lái)
        • sed -n '/^UUID/{N;p}' fstab1 : 讀取UUID開始的行，再讀取下一行并打印模式空間的內(nèi)容。

應(yīng)用實(shí)例

  1. 替換文本中的字符串
    • echo "sksksksksksk" | sed 's/sk/SK/3g
      • 結(jié)果：skSKSKSKSKSK
  2. 定界符出現(xiàn)在樣式內(nèi)部時(shí)，需要進(jìn)行轉(zhuǎn)義,建議更換定界符
    • sed 's/\/bin/\/usr\/local\/bin/g'
  3. 刪除指定的行
    • sed '2d' file : 刪除第二行
    • # sed '2,$d' file : 刪除第二行到最后一行
    • sed '$d' file : 刪除最后一行
    • sed '/^test/'d file : 刪除文件中以test開頭的行
  4. 正則表達(dá)式 \w+ 匹配每一個(gè)單詞，使用 [&] 替換它，& 對(duì)應(yīng)于之前所匹配到的單詞
    • echo this is a test line | sed 's/\w\+/[&]/g'
      • 結(jié)果：[this] [is] [a] [test] [line]
  5. 所有以192.168.0.1開頭的行都會(huì)被替換成它自已加localhost
    • sed 's/^192.168.0.1/&localhost/' file
      • 結(jié)果：192.168.0.1localhost

  6. 替換digit 7的內(nèi)容替換為 7

    • echo this is digit 7 in a number | sed 's/digit \([0-9]\)/\1/'
      • this is 7 in a number

  7. love被標(biāo)記為1，所有l(wèi)oveable會(huì)被替換成lovers，并打印出來(lái)

    • sed -n 's/\(love\)able/\1rs/p' file

  8. 所有在模板test和check所確定的范圍內(nèi)的行都被打印

    • sed -n '/test/,/check/p' file

  9. 對(duì)于模板test和west之間的行，每行加上字符串a(chǎn)aa bbb

    • sed '/test/,/west/s/$/aaa bbb/' file

  10. 查找line1 到line2之間的所有aa bbb 替換為AA BBB

    • sed '/line1/,/line2/s/aa bbb/AA BBB/' test.sh

  11. 使用n;p打印奇數(shù)行和偶數(shù)行

    • sed -n 'p;n' test.txt #奇數(shù)行
    • sed -n 'n;p' test.txt #偶數(shù)行
    • sed -n '1~2p' test.txt #奇數(shù)行
    • sed -n '2~2p' test.txt #偶數(shù)行

  12. 匹配關(guān)鍵字并顯示后幾行

    • sed -n '/3/,$p' a.sh : 顯示第一次匹配到的3，到最后一行輸出
    • sed -n '/3/,+2p' a.sh : 顯示第一次匹配到的3，到向下2行輸出

sed高級(jí)說(shuō)明舉例說(shuō)明

  • seq 4 | sed 'n;d'

      1
  3

說(shuō)明：pattern space先讀入1，然后執(zhí)行到n，把下一行2讀入pattern space中并覆蓋原本的1。然后pattern space中的內(nèi)容（2）被刪除（d操作），所以打印出1\n3

  • seq 5 | sed 'n;d'

      1
  3
  5

  • seq 4 | sed 'N;d'

      Nothing

    說(shuō)明：pattern space先讀入1，然后執(zhí)行到N，把下一行添加到當(dāng)前的pattern space中，pattern space內(nèi)容為1\n2，然后執(zhí)行d操作被刪除。接下去讀入3（系統(tǒng)讀入總是覆蓋原有內(nèi)容），執(zhí)行N，pattern space 內(nèi)容變?yōu)?\n4，然后再被刪除

  • seq 7 | sed ‘N;d’

      7

  • 理解n 與N

    • seq 4 | sed –n 'n'

        Nothing

    • `seq 4 | sed –n ‘N’

        Nothing

    以上兩都不會(huì)輸出輸入，-n參數(shù)把模式空間中的內(nèi)容關(guān)閉顯示了

  • `seq 4 | sed –n 'n;p'

      2
  4

    說(shuō)明：-n參數(shù)不顯示模式空間的內(nèi)容，n讀取下一行并覆蓋模式空間的內(nèi)容，執(zhí)行p操作

  • seq 4 | sed –n 'N;p'

      1
  2
  3
  4

    說(shuō)明：-n不顯示模式空間中的內(nèi)容，N讀取1\n2行的內(nèi)容，再p命令顯示模式空間中的內(nèi)容

  • seq 5 | sed –n 'N;p

      1
  2
  3
  4

    說(shuō)明：n首先讀取1\n2 -->打印模式空間 -->讀取3\n4--->打印模式空間--->讀取5行發(fā)現(xiàn)沒有第6行--->失敗

  • seq 5 | sed -n 'n;p'

      2
  4

    說(shuō)明：模式空間中有1，然后n使用2覆蓋1，再p打印，當(dāng)執(zhí)行到第5行時(shí)，發(fā)現(xiàn)沒有下一行了，就不執(zhí)行n了

  • 理解 x

    • seq 11 | sed -n 'x;p' == seq 11 | sed 'x'

        [sapce line]
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10

    說(shuō)明：模式空間的1<--->保持空間的空白行-->打印模式空間的空行，11并沒有打印出來(lái)，因?yàn)樗诒３挚臻g中

    • seq 4 | sed '/3/{x;p;x}'
      1
      2

        3
  4

    說(shuō)明：當(dāng)匹配到3的時(shí)候，執(zhí)行交換，現(xiàn)在模式空間為空行，保持空間中為3，執(zhí)行p命令顯示模式空間中的空行，x再交換兩這空間的內(nèi)容，此是模式空間為3,默認(rèn)模式空間的就會(huì)輸出至標(biāo)準(zhǔn)屏幕，故3之前多了一個(gè)空行

    • seq 4 | sed '/3/{x;p;x;d}'

        1
  2
  
  4

    說(shuō)明：當(dāng)?shù)诙€(gè)x交換回來(lái)，直接交給d執(zhí)行，故3就沒有了，只多了一條空行

  • 理解h和H

    • seq 4 | sed 'h;x'

        1
  2
  3
  4

    說(shuō)明：把模式空間中的內(nèi)容覆蓋到保持空間，再交換，再打印至標(biāo)準(zhǔn)輸出

    • seq 4 | sed 'x;h'

        Nothing

    說(shuō)明：先把模式空間的與保持空間交換，現(xiàn)在模式空間為空行，保持空間為1，然后再把模式空間覆蓋保持空間，再輸出至標(biāo)準(zhǔn)輸出，故都為空行

  • 理解G和g

    • seq 4 | sed '/3/g'

      1
2

4

    說(shuō)明：當(dāng)匹配到3的時(shí)候，把保持空間的空行覆蓋到模式空間，故就輸出了空行

  • seq 3 | sed '1!;G'

    1
2
NULL
3
NULL

說(shuō)明： 不是第1行就執(zhí)行G操作，G是追加保持空間到模式空間，即為2+空行

  • seq 3 | sed '1!G;h;$!d'

    3
    2
    1

說(shuō)明：當(dāng)讀到第一行時(shí)G不操作，然后把模式空間的內(nèi)容覆蓋到保持空間，然后刪除模式空間，此時(shí)，保持空間為1，當(dāng)讀到第二行時(shí)，把保持空間的內(nèi)容追加到模式空間，此時(shí)模式空間為2\n1,再執(zhí)行h，把模式空間中的內(nèi)容再覆蓋到保持空間，此時(shí)保持空間為2\n1,刪除模式空間，讀取第3行時(shí)，把保持空間的內(nèi)容追加到模式空間中，此時(shí)模式空間的為3\n\2\n1,最后一行不執(zhí)行d操作

  • 實(shí)例

  • sed -n ’n;p’ file : 顯示偶數(shù)行

  • ed ‘1!G;h;$!d’ ：逆序顯示內(nèi)容

  • sed ‘$!d’ file ：不是最后一行刪除，取出最后一行

  • sed ‘$!N;$!D’: 取出文件后兩行

  • sed ‘/^$/d;G’ FILE : 刪除原有的所有空白行，而后為所有的非空白行后添加一個(gè)空白行

  • sed ’n;d’ FILE：顯示奇數(shù)行

  • sed ‘G’ /etc/issue: 在原有的每行后方添加一個(gè)空白行

本文借用網(wǎng)絡(luò)上的文檔編輯而成，感謝原作者，如造成影響請(qǐng)通知將其刪除，此文用于學(xué)習(xí)sed工具的使用，網(wǎng)絡(luò)地址如下：
http://www.1987.name/306.html; http://bbs.chinaunix.net/thread-3763371-1-1.html

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

推薦閱讀更多精彩內(nèi)容

  • linux資料總章2.1 1.0寫的不好抱歉 但是2.0已經(jīng)改了很多 但是錯(cuò)誤還是無(wú)法避免 以后資料會(huì)慢慢更新 大...
    數(shù)據(jù)革命閱讀 12,218評(píng)論 2贊 33
  • 本文承接之前寫的三十分鐘學(xué)會(huì)AWK一文，在學(xué)習(xí)完AWK之后，趁熱打鐵又學(xué)習(xí)了一下SED，不得不說(shuō)這兩個(gè)工具真的堪稱...
    mylxsw閱讀 4,416評(píng)論 3贊 74
  • 一、sed命令介紹： 1、含義：Stream Editor文本流編輯，sed是一個(gè)“非交互式的”面向字符流的編輯器...
    優(yōu)果馥斯閱讀 16,828評(píng)論 0贊 1
  • linux sed命令詳解 1. Sed簡(jiǎn)介 sed 是一種在線編輯器，它一次處理一行內(nèi)容。處理時(shí)，把當(dāng)前處理的行...
    很少更新了閱讀 2,170評(píng)論 0贊 6
  • 舊文，今日又看到，感慨良多，我還好。 傷口是光進(jìn)入你內(nèi)心的地方。 “The wound is the place ...
    云朵里的小樹閱讀 285評(píng)論 0贊 0