利用wget命令來下載整個網站


wget -m -e robots=off -U "Mozilla/5.0 
(Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) 
Gecko/20091201 Firefox/3.5.6" "http://www.example.com/"

注意 :

  • -e robots=off 讓wget忽略網站的 ** robots.txt ** 文件的規定
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • 個人學習批處理的初衷來源于實際工作;在某個迭代版本有個BS(安卓手游模擬器)大需求,從而在測試過程中就重復涉及到...
    Luckykailiu閱讀 4,760評論 0 11
  • wget是一個從網絡上自動下載文件的自由工具。它支持HTTP,HTTPS和FTP協議,可以使用HTTP代理.wge...
    Aieru閱讀 882評論 0 1
  • 如果你想知道你的服務器正在做干什么,你就需要了解一些基本的命令,一旦你精通了這些命令,那你就是一個專業的 Linu...
    七寸知架構閱讀 10,917評論 1 71
  • everyday:linux wget 功能說明 wget是一個下載文件的工具,它用于命令行下。可以通過它,下載一...
    并肩走天涯閱讀 600評論 0 2
  • 小城的夜晚很靜謐,除了蟬鳴沒有其他任何聲響。拉開窗簾,躺在床上看著星空。雖然星星和月亮被薄霧遮住,但沒有高大建筑物...
    Herplus王瑩閱讀 359評論 2 0