《LinuxShell腳本攻略》筆記，Chap-4：讓文本飛

簡介

shell腳本可以將sed, awk, grep, cut等這類優(yōu)美的工具組合在一起，用于解決文本處理相關(guān)問題。

正則表達式

正則表達式是一種用于文本匹配的形式小巧、具有高度針對性的編程語言。只依靠通配符技術(shù)，能夠匹配的文本范圍相當有限。

正則表達式基本組成：

POSIX字符類

POSIX字符類(POSIX character class),是一個形如[:...:]的特殊元序列，它用于匹配特定的字符范圍。

元字符

元字符(meta character)，是一種Perl風格的正則表達式，只有一部分文本處理工具支持它。

#匹配一個ipv4地址
[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}

#匹配一個郵箱地址
[\w]+@[\w]\.com

用grep在文件中搜索文本

grep命令是Unix中用于文本搜索的工具，它能夠接受正則表達式和通配符。

grep "匹配文本/通配符" file1 file2... --color=auto #重點標記匹配
grep -E "正則表達式" file
egrep "正則" file

grep -v #反向匹配
grep -c #統(tǒng)計匹配行數(shù)
grep -n #打印出匹配的行號
grep -o #唯一匹配
grep -l "匹配" file1 file2    #返回匹配的文件名
grep -R #遞歸匹配
grep -i #忽略大小寫
grep -e "匹配1" -e "匹配2"  #匹配多個樣式
grep -f match.txt file1 #從match.txt文件讀取匹配
grep "匹配" --include=*.{sh,txt} --exclude=*.log --exclude-dir=/home/user -r /home    #包括或排除文件
-A/-B n #輸出匹配 之后/之前 n行
-C n    #輸出匹配 前后 n行

用cut按列切分文件

cut是一個將文本按列進行切分的小工具，它也可以指定每列定界符。在cut的術(shù)語中，每列都是一個字段。

#制表符'\t' 是cut默認的定界符
cut -d' ' -f1 1.txt #-d指定分隔符，-f打印第幾個字段
cut -f1,2,3 #打印1,2，3列
-c字符；   -b字節(jié)；
cut -c 1-5 1.txt    #打印1-5字符
cut -c -2 1.txt #打印前2個字符
cut -c 3-   #打印第3個字符到行尾

統(tǒng)計特定文件詞頻

#單詞解析可以用 關(guān)聯(lián)數(shù)組,正則表達式配合sed,awk,grep等工具來完成
#關(guān)聯(lián)數(shù)組中，將單詞作為數(shù)組索引，單詞次數(shù)作為數(shù)組值
egrep -o "\b[:alpha:]+\b"   #匹配單詞

sed入門

sed是stream editor(流編輯器)的縮寫，它是文本處理中非常重要的工具。能夠完美地配合正則表達式使用。

#sed - stream editor for filtering and transforming text
#字符/在sed中最為定界符使用

#替換
#sed 's/匹配樣式/替代字符串/'
sed 's/pattern/repalce/' file   #替換
sed -i 's/pattern/repalce/' file    #將替換應用于file

echo "1.txt" > 1.txt && sed 's/txt/haha' 1.txt  #在輸出中用haha替換txt
sed -i 's/txt/haha/' 1.txt  #將1.txt文件中的txt用haha替換掉
#-i選項替換原文件

echo "hahaha" | sed 's/ha/HA/g' #全部替換
echo "hahaha"   | sed 's/ha/HA/2g'  #指定位置替換，從第2處開替換全局

#移除匹配樣式的行
sed '/pattern/d
sed '/^$/d' ##移除空白行

#在sed中用&標記已匹配字符串
echo "A wonderful goal" | sed 's/\w\+/[&]/g'    #\w\+匹配每一個單詞

#子串匹配標記\1,\2...
echo "1st 2nd 3rd" | sed 's/\(\w\+\) \(\w\+\) \(\w\+\)/\2 \1 \3/'
2nd 1st 3rd
#將\2和\1交換次序，(),+等在sed中要轉(zhuǎn)義，否則要報錯

#組合多個表達式
sed 'expression1; expression2; ...
echo "aabbcc" | sed 's/a/A/; s/b/B/; s/c/C/g'
AaBbCC

#雙引號 " " 內(nèi)的特殊符號（如$等），可以保有原本的特性
#單引號 ' ' 內(nèi)的特殊字符則僅為一般字符（純文本）
#引用
text=hello
echo 'hello world' | sed "s/$text/HELLO/"
HELLO world

awk入門

awk被設計用于數(shù)據(jù)流，它可以對列和行進行操作。

#awk ‘begin{print "start"} pattern {command} end{print "end"}’ file
awk '{sum += $1}; {print sum}'
#awk腳本由:begin塊、end塊和能使用模式(pattern)匹配的通用語句塊 組成
#3個部分都是可選的
#awk也可以從stdin中讀取內(nèi)容
cat /etc/passwd | awk -F: '{print $1}'  #-F指定界定符

#awk中的特殊變量
#NR：記錄數(shù)量(number of records)，對應于當前行號
#NF：字段數(shù)量(number of fields)，對應于當前行的字段數(shù)
#$0：執(zhí)行過程中當前行的文本內(nèi)容
#$1,$2...$NF：第1個/2個.../最后一個 字段的內(nèi)容
echo -e "L1 1\nL2 22\nL3 333" | awk '{print NR NF $0 $1 $2}'
# NR NF $0      $1  $2 $NF=最后一個=$2
  1  2  L1 1    L1  1  1
  2  2  L2 22   L2  2  2
  3  2  L3 333  L3  3  3

#將外部變量傳遞給awk
#-v選項可將外部值傳遞給awk
#  -v var=val  --assign=var=val
var='12345'
echo | awk -v v1=$var '{print v1}'
#多個變量
var1=111; var2=222
echo | awk '{print v1,v2}' v1=$var1 v2=$var2
#變量來自文件而非標準輸入
awk '{print v1,v2}' v1=$var1 v2=$var2 file

#用樣式對awk進行過濾處理
awk 'NR < 3,NR==4' 1.txt    #行號<5的行
awk '/linux/' 1.txt #匹配帶有l(wèi)inux的行（可用re）
awk '!/linux/' 1.txt #!匹配不帶linux的行

#設置定界符
awk -F: '{print $1}' /etc/passwd
awk '{FS=":"} {print $1}' /etc/passwd
awk '{FS=":"; print $1}' /etc/passwd

#從awk中讀取命令輸出，用getline讀取行
echo | awk '{"grep root /etc/passwd" | getlin out; print out}'
root:x:0:0:root:/root:/bin/bash

#在awk中使用循環(huán)
awk '{for(i=1;i<4;i++) {print $i}}' 2.txt   #輸出第1,2,3列

對文件中的行、單詞、字符進行迭代

#迭代文件中的每一行
echo -e "1\n22\n333" | while read line;do echo $line;done
grep "bash" /etc/passwd | while read line;do echo $line;done
#1
#22
#333

#迭代一行中的每一個單詞
echo "1 22 333" | while read line;do for word in $line;do echo $word;done;done
#1
#22
#333

#迭代一個單詞中的每一個字符
echo "abc" | while read line;
do
    for word in $line;
    do
        for((i=0;i<${#word};i++));
        do
            echo ${word:i:1};
        done;
    done;
done
#寫成一行
echo "abc" | while read line; do for word in $line; do for((i=0;i<${#word};i++)); do echo ${word:i:1}; done; done; done
#a
#b
#c
#${#word}返回變量word的長度

按列合并文件

可以使用paste命令實現(xiàn)列拼接

#paste - merge(整合) lines of files
echo -e  "1\n2\n3" > 1.txt && echo -e "Line1\nLine2\nLine3" > 2.txt
paste 1.txt 2.txt
1   Line1
2   Line2
3   Line3
#默認定界符是制表符，用-d指定
paste 1.txt 2.txt -d','

打印文件或行中的第n個單詞或n列

awk -F':' '{print $1,$3}' file1
cut -d':' -f 1,3 file1

打印不同行或樣式之間的文本

awk 'NR==1,NR==10' /etc/passwd
awk 'NR==1,NR==10' /etc/passwd | awk -F":" '{print $1,$NF}' #打印特定行內(nèi)的特定列

awk '/start_pattern/, /end_pattern/' file   #打印start到end之間的內(nèi)容,可使用re
awk '/root/, /zhang/' /etc/passwd   #打印root到zhang之間內(nèi)容
awk '/^ro.?t/, /bash$/' /etc/pass

以逆序形式打印行

可以使用awk, tac完成。tac就是反過來的cat。

#tac - 反轉(zhuǎn)顯示文件中的行，行內(nèi)的內(nèi)容無法用tac反向排列
tac 1.txt
awk '{lifo[NR]=$0; lno=NR} END{ for(;lno>-1;lno--) {print lifo[lno]};}' 1.txt

解析文本中的電子郵件和URL

從給定的文件中解析出所需要的文本是我們從事文本處理時的一項任務。

#egrep

#匹配一個郵箱地址
egrep -o '[a-zA-Z0-9.]+@[0-9a-zA-Z.]+\.[a-zA-Z]{2,4}' emails.txt

#匹配一個URL地址
egrep -o "http://[a-zA-Z0-9.]+\.[a-zA-Z]{2,3}" urls.txt

打印某個樣式之前/之后n行

grep "zhang" /etc/passwd -A 5   #Ater
grep "zhang" /etc/passwd -B 5   #Before
grep "zhang" /etc/passwd -C 5   #前后五行都打印

在文件中移除包含某個單詞的句子

只要能寫出正確的正則表達式(Regular Expression)，那就手到擒來

sed 's/[^.]*handsome boy[^.]*\.//g' file.txt    #句子以.結(jié)束

文本切片與參數(shù)操作

#替換變量內(nèi)容中的部分文字
var="One two three"
echo ${var/t/T} #只替換了一個
#One Two three

#指定字符串起始位置和長度
#${變量:開始部分:長度}
${vari:start:length}
echo {var:0:2}  #On
echo {var:1:6}  #ne two

#起始字符的索引是0,將最后一個字符索引記為-1
echo ${var:(-1)}    #e
echo ${var:(-3):3}  #ree