利用這個(gè)周末做了個(gè)小練習(xí)，用的mechanize 抓取了人人網(wǎng)的一些網(wǎng)頁。
rails各種環(huán)境都配置好以后，rails new test -d mysql創(chuàng)建了一個(gè)用mysql數(shù)據(jù)庫的工程
然后為本項(xiàng)目創(chuàng)建一個(gè)mysql用戶和一個(gè)數(shù)據(jù)庫，配置項(xiàng)目里的database.yml數(shù)據(jù)庫文件
由于初次接觸mechanize，所以都是在實(shí)驗(yàn)的同時(shí)寫的代碼，關(guān)鍵部分的代碼網(wǎng)上的有相關(guān)的實(shí)例，本人也是秉著練練手的目的做的，代碼的直接就放在model里了，運(yùn)行的時(shí)候在rails c里執(zhí)行的，感覺這樣比較方便，就沒寫task任務(wù)。剛剛開始練習(xí)，至于多線程，進(jìn)程中斷，遍歷樹廣度優(yōu)先和深度優(yōu)先等均沒考慮。
其實(shí)本不打算去人人網(wǎng)做實(shí)驗(yàn)，是沖著qq空間去的，但是mechanize在我這個(gè)目的下的缺點(diǎn)就暴露出來了，當(dāng)然他也有他的專長(zhǎng)。由于qq空間的頁面大多是js生成的，而mechanize去抓取頁面的時(shí)候不去運(yùn)行js，所以導(dǎo)致了無法抓取有效信息，且登陸需要使用cookie才能登陸，由于目前還不清楚如何實(shí)現(xiàn)，mechanize適合抓取鏈接。
通過好友和最近訪客抓取人人網(wǎng)的用戶信息，目前還存在一個(gè)比較麻煩的問題，每訪問100個(gè)用戶就需要輸入一次驗(yàn)證碼，網(wǎng)上有人提供了一個(gè)可行方案，驗(yàn)證碼跟cookie存在聯(lián)系，通過cookie找到驗(yàn)證碼庫，這個(gè)功能沒做實(shí)驗(yàn)。
運(yùn)行前需要安裝mechanize，在Gemfile中加入gem ‘mechanize’，gem install mechanize，bundle install，這樣就裝上了。
下面是部分代碼
require'rubygems'
require'mechanize'
def self.save_user_renren
email='自己賬號(hào)' #賬號(hào)密碼
password='密碼值'
@agent=Mechanize.new
@agent.user_agent_alias='Windows Mozilla'
page=@agent.get('http://www.renren.com')
@agent.open_timeout=10
page.encoding='utf-8'
#填表登陸人人，登陸后的頁面存放到login_page
form=page.forms.first
form.field_with(:name=>'email').value=email
form.field_with(:type=>'password').value=password
login_page=form.click_button #表單登陸方法
first_user = User.create_first_user(848764357) ?#創(chuàng)建第一個(gè)用戶，我是存到了id_list表了
?(1..5).each do |depth| ?#按深度來進(jìn)行遍歷
? ?other_user(depth)
end
end
def self.other_user(depth) ?#目前只存儲(chǔ)了用戶的遍歷深度和用戶的對(duì)應(yīng)網(wǎng)址信息的一個(gè)數(shù)字字符串
? ? ? ? ? ?IdList.where(user_depth:depth).each do |id_user|
? ? ? ? ? ? user_page=@agent.get("http://www.renren.com/#{id_user.renren_user_id}/profile")
user_page.links_with(:href=>/\/profile$/).each do |link|
depth=id_user.user_depth+1
User.save_user_id(link.href[22,9].to_i,depth)
end
end
end
def self.create_first_user(user_id)
IdList.create(id:1,renren_user_id:user_id,user_depth:0)
end
def self.save_user_id(user_id,depth)
current_id=IdList.find_by(renren_user_id:user_id)
IdList.create(renren_user_id:user_id,user_depth:depth)unlesscurrent_id.present?
end
由于是實(shí)驗(yàn)，所以只存了一個(gè)用戶對(duì)應(yīng)人人網(wǎng)的唯一標(biāo)示--數(shù)字字符串和深度，由于存在每訪問一百個(gè)用戶后需要輸入驗(yàn)證碼，且每位用戶最多只取頁面顯示的10到20多個(gè)好友，本人只有三個(gè)好友，所以深度到4時(shí)已有3000多，深度到5將近四五萬，還是因?yàn)轵?yàn)證碼問題，所以我只抓到2萬個(gè)id
后來去分析的網(wǎng)頁，根據(jù)id拼的路由，為用戶創(chuàng)建了基本信息，還是因?yàn)轵?yàn)證碼，只抓了一千個(gè)用戶信息，不知是網(wǎng)絡(luò)原因還是進(jìn)程出問題，有時(shí)會(huì)卡住，還出現(xiàn)一些臟數(shù)據(jù)。
出現(xiàn)的一個(gè)報(bào)錯(cuò)信息Net::HTTP::Persistent::Error: too many connection resets (due to Net::ReadTimeout - Net::ReadTimeout) after 200 requests on 46030880, last used 120.489427646 seconds ago
page.save('page.html')這樣就可以將抓到的網(wǎng)頁代碼存到page.html中了，若要存為日志型的，Logger.new('page.html').info(page)
頁面分析及存在的各種問題，以后都做了相應(yīng)實(shí)驗(yàn)后更新。
(本人新手，歡迎指出不足之處和改進(jìn)意見)
