今天來說一個實用的工具:網站克隆。這樣的功能對于技術人員來說,不算什么大的功能,大家可以用N種辦法來實現,各有各的奇技淫巧。今天主要介紹的是A哥的克隆工具curlMulti。借用這個功能,非技術人員也可以快速的克隆整個站點。
工具鏈接:
工具特點:
- 抓取網站的各項資源html\Css\Js\RAR壓縮文件等
- 并行抓取,抓取速度快的驚人
傻瓜式操作流程
Mac演示,mac自帶了php,所以整體操作非常簡單
1:下載工具 - v2.3.3
下載v2.3.3版本
2:準備工作
打開文件
修改兩行代碼:
Paste_Image.png
正常情況,改網址就ok。如果需要克隆的站很大很大,需要在第一行加代碼:
ini_set('memory_limit', '2048M');
3:執行克隆
打開終端
打開終端1
打開終端2
在終端執行如下操作:
- 右鍵site_clone1.php文件,”顯示簡介“,如圖選中文本, 復制(Ctrl+c)
找到路徑
-
在終端輸入: "cd ",然后Ctrl+v粘貼剛才復制的內容,回車 (輸入字符不帶雙引號)
我的終端是這樣的,可以做為參考:
Paste_Image.png
- 在終端輸入:
php site_clone1.php
到這里,克隆已經開始了。謹記,終端窗口不要關閉。(如果想讓關閉窗口后繼續克隆,請聯系我)
如果要克隆的網站比較小,如小說站,半小時就可以搞定(每秒克隆100+頁面毫無壓力)
網站存放目錄
網站目錄
雙擊index.html就可以打開已經克隆下來的網站。
附:如果想要更快的克隆,如下操作:
修改并發數
可以自己感受一下改成500的效果,估計局域網中正在打游戲的同學就要開罵了,哈哈!好吧,我估計不會有人想測試500并發的效果,因為局域網真會卡死。但是呢,如果真要測試500并發,那需要在終端多執行一行命令:
ulimit -n 1000