Linux Shell常用技巧(一) RE

一、特殊文件: /dev/null和/dev/tty

Linux系統提供了兩個對Shell編程非常有用的特殊文件,/dev/null和/dev/tty。其中/dev/null將會丟掉所有寫入它的數據,換句換說,當程序將數據寫入到此文件時,會認為它已經成功完成寫入數據的操作,但實際上什么事都沒有做。如果你需要的是命令的退出狀態,而非它的輸出,此功能會非常有用,見如下Shell代碼:

 /> vi test_dev_null.sh
#!/bin/bash
if grep hello TestFile > /dev/null
then
    echo "Found"
else
    echo "NOT Found"
fi

在vi中保存并退出后執行以下命令:

/> chmod +x test_dev_null.sh  #使該文件成為可執行文件
/> cat > TestFile
    hello my friend
    CTRL + D                             #退出命令行文件編輯狀態
/> ./test_dev_null.sh
    Found                                 #這里并沒有輸出grep命令的執行結果。

將以上Shell腳本做如下修改:

/> vi test_dev_null.sh
#!/bin/bash
if grep hello TestFile
then
    echo "Found"
else
    echo "NOT Found"
fi

在vi中保存退出后,再次執行該腳本:

/> ./test_dev_null.sh
    hello my friend                      #grep命令的執行結果被輸出了。
    Found

下面我們再來看/dev/tty的用途。當程序打開此文件時,Linux會自動將它重定向到一個終端窗口,因此該文件對于讀取人工輸入時特別有用。見如下Shell代碼:

/> vi test_dev_tty.sh
#!/bin/bash
printf "Enter new password: "    #提示輸入
stty -echo                               #關閉自動打印輸入字符的功能
read password < /dev/tty         #讀取密碼
printf "\nEnter again: "             #換行后提示再輸入一次
read password2 < /dev/tty       #再讀取一次以確認
printf "\n"                               #換行
stty echo                                #記著打開自動打印輸入字符的功能
echo "Password = " $password #輸出讀入變量
echo "Password2 = " $password2
echo "All Done" 

在vi中保存并退出后執行以下命令:

/> chmod +x test_dev_tty.sh #使該文件成為可執行文件
/> ./test_dev_tty
    Enter new password:             #這里密碼的輸入被讀入到腳本中的password變量
    Enter again:                          #這里密碼的輸入被讀入到腳本中的password2變量
    Password = hello
    Password2 = hello
    All Done

二、簡單的命令跟蹤:

Linux Shell提供了兩種方式來跟蹤Shell腳本中的命令,以幫助我們準確的定位程序中存在的問題。下面的代碼為第一種方式,該方式會將Shell腳本中所有被執行的命令打印到終端,并在命令前加"+":加號的后面還跟著一個空格。

/> cat > trace_all_command.sh
    who | wc -l                          #這兩條Shell命令將輸出當前Linux服務器登錄的用戶數量
    CTRL + D                            #退出命令行文件編輯狀態
/> chmod +x trace_all_command.sh
/> sh -x ./trace_all_command.sh #Shell執行器的-x選項將打開腳本的執行跟蹤功能。
    + wc -l                               #被跟蹤的兩條Shell命令
    + who
    2                                       #實際輸出結果。

Linux Shell提供的另一種方式可以只打印部分被執行的Shell命令,該方法在調試較為復雜的腳本時,顯得尤為有用。

/> cat > trace_patial_command.sh
#! /bin/bash
set -x                #從該命令之后打開跟蹤功能
echo 1st echo                #將被打印輸出的Shell命令
set +x                #該Shell命令也將被打印輸出,然而在該命令被執行之后,所有的命令將不再打印輸出
echo 2nd echo                #該Shell命令將不再被打印輸出。
CTRL + D                #退出命令行文件編輯狀態
/> chmod +x trace_patial_command.sh
/> ./trace_patial_command.sh
    + echo 1st echo
    1st echo
    + set +x
    2nd echo

三、正則表達式基本語法描述

Linux Shell環境下提供了兩種正則表達式規則,一個是基本正則表達式(BRE),另一個是擴展正則表達式(ERE)。
下面是這兩種表達式的語法列表,需要注意的是,如果沒有明確指出的Meta字符,其將可同時用于BRE和ERE,否則將盡適用于指定的模式。 

| 正則元字符 | 模式含義 |$1 |
|: ------------- |:-----------------| :-----|
|\ |通常用于關閉其后續字符的特殊意義,恢復其原意。| (...),這里的括號僅僅表示括號。|
|. |匹配任何單個字符。| a.b,將匹配abb、acb等|
|* |匹配它之前的0-n個的單個字符。| ab,將匹配ab、aab、aaab等。|
|^ |匹配緊接著的正則表達式,在行的起始處。| ^ab,將匹配abc、abd等,但是不匹配cab。|
|$ |匹配緊接著的正則表達式,在行的結尾處。| ab$,將匹配ab、cab等,但是不匹配abc。|
|[...] |方括號表達式,匹配其內部任何字符。其中-表示連續字符的范圍,^符號置于方括號里第一個字符則有反向的含義,即匹配不在列表內(方括號)的任何字符。如果想讓]和-表示其原意,需要將其放置在方括號的首字符位置,如[]ab]或[-ab],如這兩個字符同時存在,則將]放置在首字符位置,-放置在最尾部,如[]ab-]。 |[a-bA-Z0-9!]表示所有的大小寫字母,數字和感嘆號。[^abc]表示a、b、c之外的所有字符。[Tt]om,可以匹配Tom和tom。 |
|{n,m} |區間表達式,匹配在它前面的單個字符重復出現的次數區間,{n}表示重復n次;{n,}表示至少重復n次;{n,m}表示重復n到m次。 |ab{2}表示abb;ab{2,}表示abb、abbb等。ab{2,4}表示abb、abbb和abbbb。 |
|(...) |將圓括號之間的模式存儲在特殊“保留空間”。最多可以將9個獨立的子模式存儲在單個模式中。匹配于子模式的文本,可以通過轉義序列\1到\9,被重復使用在相同模式里。 |(ab).
\1表示ab組合出現兩次,兩次之間可存在任何數目的任何字符,如abcdab、abab等。 |
|{n,m}(ERE) |其功能等同于上面的{n,m},只是不再寫\轉義符了。 | ab+匹配ab、abbb等,但是不匹配a。 |
|+(ERE) |和前面的星號相比,+匹配的是前面正則表達式的1-n個實例。 | |
|?(ERE) |匹配前面正則表達式的0個或1個。 |ab?僅匹配a或ab。 |
||(ERE) |匹配于|符號前后的正則表達式。 | (ab|cd)匹配ab或cd。 |
|[:alpha:] |匹配字母字符。 | [[:alpha:]!]ab$匹配cab、dab和!ab。 |
|[:alnum:] |匹配字母和數字字符。 | [[:alnum:]]ab$匹配1ab、aab。 |
|[:blank:] |匹配空格(space)和Tab字符。 | [[:alnum:]]ab$匹配1ab、aab。 |
|[:cntrl:] |匹配控制字符。 | |
|[:digit:] |匹配數字字符。 | |
|[:graph:] |匹配非空格字符。 | |
|[:lower:] |匹配小寫字母字符。 | |
|[:upper:] |匹配大寫字母字符。 | |
|[:punct:] |匹配標點字符。 | |
|[:space:] |匹配空白(whitespace)字符。 | |
|[:xdigit:] |匹配十六進制數字。 | |
|\w |匹配任何字母和數字組成的字符,等同于[[:alnum:]] | |
|\W |匹配任何非字母和數字組成的字符,等同于[^[:alnum:]
] | |
|<> | 匹配單詞的起始和結尾。 | <read匹配readme,me>匹配readme。 |

下面的列表給出了Linux Shell中常用的工具或命令分別支持的正則表達式的類型。

grep sed vi egrep awk
BRE * * *
ERE * *

四、使用cut命令選定字段:

cut命令是用來剪下文本文件里的數據,文本文件可以是字段類型或是字符類型。下面給出應用實例:

/> cat /etc/passwd
    root:x:0:0:root:/root:/bin/bash
    bin:x:1:1:bin:/bin:/sbin/nologin
    daemon:x:2:2:daemon:/sbin:/sbin/nologin
    adm:x:3:4:adm:/var/adm:/sbin/nologin
/> cut -d : -f 1,5 /etc/passwd     #-d后面的冒號表示字段之間的分隔符,-f表示取分割后的哪些字段
    root:root                                 #這里取出的是第一個和第五個字段。
    bin:bin
    daemon:daemon
    adm:adm
/> cut -d: -f 3- /etc/passwd       #從第三個字段開始顯示,直到最后一個字段。
    0:0:root:/root:/bin/bash
    1:1:bin:/bin:/sbin/nologin
    2:2:daemon:/sbin:/sbin/nologin
    3:4:adm:/var/adm:/sbin/nologin
    4:7:lp:/var/spool/lpd:/sbin/nologin

這里需要進一步說明的是,使用cut命令還可以剪切以字符數量為標量的部分字符,該功能通過-c選項實現,其不能與-d選項共存。

/> cut -c 1-4 /etc/passwd          #取每行的前1-4個字符。
/> cut -c-4 /etc/passwd            #取每行的前4個字符。 
    root
    bin:
    daem
    adm:
/> cut -c4- /etc/passwd            #取每行的第4個到最后字符。
    t:x:0:0:root:/root:/bin/bash
    :x:1:1:bin:/bin:/sbin/nologin
    mon:x:2:2:daemon:/sbin:/sbin/nologin
    :x:3:4:adm:/var/adm:/sbin/nologin

/> cut -c1,4 /etc/passwd           #取每行的第一個和第四個字符。
    rt
    b:
    dm
    a:

/> cut -c1-4,5 /etc/passwd        #取每行的1-4和第5個字符。
    root:
    bin:x
    daemo
    adm:x

五、計算行數、字數以及字符數:

Linux提供了一個簡單的工具wc用于完成該功能,見如下用例:

/> echo This is a test of the emergency broadcast system | wc
    1    9    49                              #1行,9個單詞,49個字符
/> echo Testing one two three | wc -c
    22                                         #22個字符
/> echo Testing one two three | wc -l
    1                                           #1行
/> echo Testing one two three | wc -w
    4                                           #4個單詞
/> wc /etc/passwd /etc/group    #計算兩個文件里的數據。
    39   71  1933  /etc/passwd
    62   62  906    /etc/group
    101 133 2839  總用量

六. 提取開頭或結尾數行:

有時,你會需要從文本文件里把幾行字,多半是靠近開頭或結尾的幾行提取出來。如查看工作日志等操作。Linux Shell提供head和tail兩個命令來完成此項工作。見如下用例:

/> head -n 5 /etc/passwd      #顯示輸入文件的前五行。
    root:x:0:0:root:/root:/bin/bash
    bin:x:1:1:bin:/bin:/sbin/nologin
    daemon:x:2:2:daemon:/sbin:/sbin/nologin
    adm:x:3:4:adm:/var/adm:/sbin/nologin
    lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

/> tail -n 5 /etc/passwd      #顯示輸入文件的最后五行。
    sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
    mysql:x:27:27:MySQL Server:/var/lib/mysql:/bin/bash
    pulse:x:496:494:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin
    gdm:x:42:42::/var/lib/gdm:/sbin/nologin
    stephen:x:500:500:stephen:/home/stephen:/bin/bash

如果使用者想查看不間斷增長的日志(如服務程序輸出的),可以使用tail的-f選項,這樣可以讓tail命令不會自動退出,必須通過CTRL+C命令強制退出,因此該選項不適合用于Shell腳本中,見如下用例:

/> tail -f -n 5 my_server_log

轉自:http://www.cnblogs.com/mchina/archive/2012/06/29/2570018.html

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,825評論 6 546
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,814評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,980評論 0 384
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 64,064評論 1 319
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,779評論 6 414
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 56,109評論 1 330
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 44,099評論 3 450
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,287評論 0 291
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,799評論 1 338
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,515評論 3 361
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,750評論 1 375
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,221評論 5 365
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,933評論 3 351
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,327評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,667評論 1 296
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,492評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,703評論 2 380

推薦閱讀更多精彩內容