nodeJS 實現一個爬蟲(爬取文本、圖片)

<最終爬取全部的圖片全部放在了本地的images中

/** * Created by wusicheng on 2016/12/15. /
var fs = require("fs");
var request = require("request");
var cheerio = require("cheerio");
var mkdirp = require('mkdirp');
var http= require("http");
//目標網址
var url ='http://jandan.net/ooxx';
//本地存儲目錄
var dir = './images';
//創建目錄
mkdirp(dir, function(err) { if(err){ console.log(err); }});
//發送請求
request(url, function(error, response, body) { if(!error && response.statusCode == 200) { var $ = cheerio.load(body); console.log(1)
//找到img所在標簽目錄
var images = $('.text p');
console.log(images)
images.each(function(item) {
// 通過標簽名找到img
var img = $(this).find('img')
var src = img.attr('src') + "";
console.log(src);
console.log('正在下載' + src);
download(src, dir, Math.floor(Math.random()
100000) + src.substr(-4,4)); console.log('下載完成'); }); }});
//下載方法
var download = function(url, dir, filename){ request.head(url, function(err, res, body){ request(url).pipe(fs.createWriteStream(dir + "/" + filename)); });};

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容