不知不覺(jué)中經(jīng)過(guò)了1年了，這一年很快，也給我?guī)?lái)了很多轉(zhuǎn)變，這一年很累，也給我?guī)?lái)更多的知識(shí)。確實(shí)是很累呀，回想起每晚都在瞎搞搞，到兩三點(diǎn)精疲力盡的時(shí)候才去睡覺(jué)，不過(guò)收獲也是巨大的，特別我的肚子也在不知不覺(jué)由腹肌變成了小肚子0 0，這是我很悲傷的一個(gè)故事。
好了，不扯了，這也不是我的風(fēng)格，今天給大家來(lái)點(diǎn)干貨，用用 Node.js (以下簡(jiǎn)稱 Node)來(lái)寫一寫小爬蟲來(lái)爬一爬簡(jiǎn)書。
首先來(lái)接受一下 Node
有看我博客的人也知道我是做 IOS 開(kāi)發(fā)的，但是為什么今天突然來(lái)寫 Node 呢？個(gè)人感覺(jué)吧，做什么開(kāi)發(fā)也好， 會(huì)點(diǎn)后臺(tái)也不會(huì)吃虧，畢竟網(wǎng)絡(luò)層的東西，多了解一下總是好的。說(shuō)不定以后自己要做個(gè)應(yīng)用什么的，起碼不會(huì)煩惱怎么做后臺(tái)吧。
那么寫爬蟲有什么好處呢，最起碼你寫的應(yīng)用需要的數(shù)據(jù)都能給你找回來(lái)吧，顯示個(gè)圖片什么的都是要數(shù)據(jù)的吧。那么用 Node 寫爬蟲的好處有什么呢，為什么要選擇 Node 呢？1.寫 Node 用的是 JavaScript，而 JavaScript 又是前端交互中經(jīng)常用到的，所以我們的學(xué)習(xí)開(kāi)發(fā)成本會(huì)降低，一方面練習(xí)了 JavaScript 語(yǔ)法，另一方面又能開(kāi)發(fā)后臺(tái)，一舉兩得； 2.Node 的效率就是它的優(yōu)點(diǎn)了，由于Node的網(wǎng)絡(luò)是異步的，所以基本如同幾百個(gè)進(jìn)程并發(fā)一樣強(qiáng)大，內(nèi)存和CPU占用非常小。
那么說(shuō)了這么多，就是想告訴大家 Node 其實(shí)并沒(méi)有想象中那么差。好了，開(kāi)始我們今天的代碼了
首先我們要下載 Node 這個(gè)家伙了，下載完后只要簡(jiǎn)單的幾步安裝步驟就可以了。
那么我們還需要一個(gè)編輯器，當(dāng)然你也可以使用系統(tǒng)有的文本編輯器，但是在這里我個(gè)人來(lái)說(shuō)就選擇了 Atom 這款編輯器了，它一方面是高仿 sublineText ，只要熟悉 sublineText 的小伙伴就能很快上手了，另一方面是它的界面設(shè)計(jì)真心不錯(cuò)，很吸引我，而且下載第三方包的工具是自帶的 apm(atom package manage) 很不錯(cuò)。
以下是我們需要爬的 html 結(jié)構(gòu)了
很亂的說(shuō)有木有，但是，相信大家，越難的東西才是我們應(yīng)該挑戰(zhàn)的嘛
1.創(chuàng)建 shujian.js 文件
2.引入我們需要的模塊
// 引入 node 的網(wǎng)絡(luò)模塊，這個(gè)模塊對(duì) node 來(lái)說(shuō)很重要
var http = require('http');
// 引入 `cheerio` 這個(gè)模塊，gitHub 上有介紹，它就是一個(gè)服務(wù)端的 JQuery 庫(kù)
var cheerio = require('cheerio');
// 以下這個(gè) url 是我個(gè)人主頁(yè)的，請(qǐng)使用的小伙伴換一下自己的主頁(yè)喔
var url = 'http://www.lxweimin.com/users/53fb509bd05c/latest_articles';
3.進(jìn)行一次 get的請(qǐng)求并對(duì)返回的 html 字符串進(jìn)行解析
http.get(url, function(res){
// 用于拼接接受到的 html 字符串
var html = '';
// on 是 node 的一個(gè)監(jiān)聽(tīng)事件
res.on('data', function(data) {
html += data;
});
res.on('end', function() {
// 解析 html 字符串的方法，返回文章數(shù)據(jù)的對(duì)象
var articlesData = filterChapter(html);
// 輸出這個(gè)對(duì)象的屬性
printArticleInfo(articlesData);
});
}).on('error', function(){
console.log('個(gè)人主頁(yè)數(shù)據(jù)失敗');
});
4.解析 html 字符串的方法，返回文章數(shù)據(jù)的對(duì)象數(shù)組
function filterChapter(html) {
var $ = cheerio.load(html);
var articleList = $('.article-list').children('li');
// 創(chuàng)建一個(gè)空數(shù)組，用來(lái)裝載我們的文章對(duì)象
var articlesData = [];
articleList.each(function(item) {
// 以下 JQ 的方法，相信會(huì)一點(diǎn) JQ 的人都能看懂啦，哈
var article = $(this);
var title = article.find('div').find('.title').find('a').text();
var span = article.find('div').find('div.list-footer').find('span');
var loveCount = span.text();
// .eq(i) 通過(guò)索引篩選匹配的元素。使用.eq(-i)就從最后一個(gè)元素向前數(shù)。
var readCount = span.parent().find('a').eq(0).text();
// 因?yàn)槲覀冎灰?喜歡的數(shù)量，并不想要這兩個(gè)字，所以用 JS 的方法把它去掉了，以下閱讀二字也是一樣的
var loveNum = parseFloat(loveCount.substring(loveCount.search('喜歡') + '喜歡'.length)) ;
var readNum = parseFloat(readCount.substring(readCount.search('閱讀') + '閱讀'.length));
// 創(chuàng)建文章對(duì)象，JS 的對(duì)象確實(shí)跟 json 的很像呀
var articleData = {
title : title,
love : loveNum.toString(),
readCount : readNum.toString()
};
articlesData.push(articleData);
});
return articlesData;
}
5.將這個(gè)文章數(shù)組內(nèi)的文章對(duì)象轉(zhuǎn)換成字符串輸出
function printArticleInfo(articlesData) {
console.log('止于浮水的簡(jiǎn)書 ：\n');
articlesData.forEach(function(item) {
var title = item.title;
var loveCount = item.love;
var readCount = item.readCount;
console.log('《' + title + '》' + ' \n ' + '閱讀數(shù)為: ' + readCount + '\n' + '喜歡數(shù)為:' + loveCount + '\n');
});
}
好了，寫了以上代碼，現(xiàn)在需要跑一跑了，打開(kāi)終端 輸入 node jianshu.js
以下就是我的輸出了
好了，到這里我們的 簡(jiǎn)書小爬蟲就完成了，根據(jù)這些方法，你可以去爬一些更多數(shù)據(jù)的網(wǎng)頁(yè)，甚至可以寫更多更多的爬蟲同時(shí)去爬取數(shù)據(jù)，讓你再創(chuàng)造 app 的時(shí)候不再懼怕沒(méi)有數(shù)據(jù)這塊了。當(dāng)然，這些數(shù)據(jù)需要一個(gè)數(shù)據(jù)庫(kù)，這就是我以后要告訴小伙伴們的事情了。
@end
