bash 爬蟲

問題描述:

我想下載特定網(wǎng)頁(yè)中包含的.pcap和.pcap.gz文件,使用bash腳本自動(dòng)完成,不需要手動(dòng)挨個(gè)點(diǎn)。

解決方案:

1. 下載網(wǎng)頁(yè)保存

curl -O -s https://wiki.wireshark.org/SampleCaptures

2. 提取網(wǎng)頁(yè)中的要下載的文件名稱

for i in `cat SampleCaptures | grep -hoir 'target=[a-zA-Z0-9_-]*.pcap'`

文件名特征是字母、數(shù)字、-、_這幾種字符組合而成,文件名叫做'target=xx.pcap'`,用正則就可以提取。

3. 組合url字符串并下載

base="https://wiki.wireshark.org/SampleCaptures?action=AttachFile&do=get&";for i in `cat SampleCaptures | grep -hoir 'target=[a-zA-Z0-9_-]*.pcap'`; do echo "downloading ${base}${i} ..."; curl -s -O "${base}${i}"; done

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn),斷路器,智...
    卡卡羅2017閱讀 134,993評(píng)論 19 139
  • 第1章 小試牛刀 $ 是普通用戶,# 表示管理員用戶 root。 shebang:#!。sharp / hash ...
    巴喬書摘閱讀 6,423評(píng)論 1 4
  • 3.1. 介紹 現(xiàn)在,您已經(jīng)安裝了Wireshark并有可能熱衷于開始捕捉您的第一個(gè)數(shù)據(jù)包。在接下來的章節(jié)中,我們...
    wwyyzz閱讀 1,414評(píng)論 0 1
  • 如果你想知道你的服務(wù)器正在做干什么,你就需要了解一些基本的命令,一旦你精通了這些命令,那你就是一個(gè)專業(yè)的 Linu...
    七寸知架構(gòu)閱讀 10,957評(píng)論 1 71
  • 【一分鐘認(rèn)識(shí)我:我是柏柏BJ,親子漫畫家,自由漫畫人,坐標(biāo)帝都,多家報(bào)刊和雜志漫畫專欄作者,多家母嬰網(wǎng)站最具影響力...
    柏柏育兒漫畫閱讀 924評(píng)論 0 1