微博爬蟲-發(fā)布微博以及獲取微博資料
1.發(fā)布微博
為了減少限制我們使用移動版本登錄
首先登錄微博，這里我采用cookie來登錄
登錄.png
cookie.png
如圖，登錄后獲得cookie
登錄后先發(fā)布一個微博查看需要傳輸什么值
查看發(fā)送微博需要填寫什么.png
圖中可以看出，我們需要2個值，一個為st一個為content，且content已知值為我們要發(fā)送的微博
發(fā)送微博的url在圖片里面可以看出是：https://m.weibo.cn/api/statuses/update
找出st的值.png
接著我們從這個網(wǎng)頁里面找到st值生成的地方，找到后我們就可以開始寫發(fā)送微博的代碼了
import re
import requests
headers = {'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Mobile Safari/537.36'}
cookie = {"Cookie": "你的cookie"}
url = 'https://m.weibo.cn/compose'
html = requests.get(url, cookies=cookie).text
pattern = r'st:(.+)'
st = re.findall(pattern, html)[0].replace("'",'').replace(',','').replace(' ','')
post_url = 'https://m.weibo.cn/api/statuses/update'
postdata = {
'st':st,
'content':'測試Python發(fā)微博!',
}
update = requests.post(post_url, data=postdata, headers=headers, cookies=cookie)
在這里我用正則找出來，不過加了‘’就找不到了，所以只能粗略找出來再把不要的替換掉，接著就可以傳入postdata進行發(fā)微博了
結(jié)果如圖：
深度截圖_選擇區(qū)域_20170815141038.png
2.爬取評論
其實這個是我爬取一半遇到個坑，然后百度后找到的教程- -。。。
先貼上鏈接這里
然后是代碼
from lxml import html
import requests
import json
import re
class CrawlWeibo:
# 獲取指定博主的所有微博card的list
def getWeibo(self,id,page):#id（字符串類型）：博主的用戶id，page（整型）：微博翻頁參數(shù)
url='https://m.weibo.cn/api/container/getIndex?type=uid&value='+id+'&containerid=107603'+id+'&page='+str(page)
response=requests.get(url)
ob_json=json.loads(response.text)
list_cards=ob_json['cards']
return list_cards# 返回本頁所有的cards
# 返回某條微博的熱門評論的list
def getComments(self,id,page):# id（字符串類型）：某條微博的id，page（整型）：評論翻頁參數(shù)
url='https://m.weibo.cn/api/comments/show?id='+id+'&page='+str(page)
response=requests.get(url)
ob_json=json.loads(response.text)
list_comments=ob_json['hot_data']
return list_comments
def printAllTopic(self,page):
list_cards=self.getWeibo('1713926427',page)
# 遍歷當(dāng)頁所有微博，輸出內(nèi)容，并根據(jù)id查找輸出熱門評論
for card in list_cards:
if card['card_type']==9:# 過濾出微博，card_type=9的是微博card，card_type=11的是推薦有趣的人
id=card['mblog']['id']
text=card['mblog']['text']
if re.search('___', text)!=None:# 用正則匹配，將博文有下劃線的微博過濾出來，有下劃線的是“話題微博”
print (u"### 話題: "+text+'\n')
#根據(jù)微博id獲取熱門評論，并輸出
list_comments=crawl_weibo.getComments(id, 1)# 熱門評論只需要訪問第一頁
count_hotcomments=1
for comment in list_comments:
created_at=comment['created_at']# 發(fā)表日期時間
like_counts=comment['like_counts']# 點贊數(shù)
text=comment['text']# 評論內(nèi)容
tree=html.fromstring(text)
text=tree.xpath('string(.)')# 用string函數(shù)過濾掉多余標(biāo)簽
name_user=comment['user']['screen_name']# 評論者的用戶名
source=comment['source']# 來源于哪個終端
if source=='':
source=u'未知'
pic_url=''# 評論內(nèi)容的圖片
if 'pic' in comment:
pic_url=comment['pic']['url']
# 輸出評論數(shù)據(jù)
print (str(count_hotcomments),': **',name_user,'**',u' **發(fā)表于：**'+created_at,u' **點贊：**'+str(like_counts)+u' **來自：**'+source)
print (text+'\n')
count_hotcomments=count_hotcomments+1
print ('***')
#實例化爬蟲類并調(diào)用成員方法進行輸出
crawl_weibo=CrawlWeibo()
crawl_weibo.printAllTopic(1)# 只輸出一頁進行示例展示
其實就是不斷的解析JSON來獲取自己想要的，搜索到榜姐后，點他的微博
獲取榜姐首頁JSON.png
可以找到生成微博的JSON文件
把URL提取后進去查看，可以看到JSON內(nèi)容，然后COPY再到json.cn查看
首頁JSON解釋.png
之后就會發(fā)現(xiàn)我們要的微博都再card 9里面，提取之
再點進去評論列表，跟分析博文一樣進行分析
評論.png
就能從里面提取精彩評論了，然而，只有8條- -
然后我就重新弄了一下，那里不是有個更多評論嗎，點擊后就能看到很多熱門評論了，缺點是看不到圖片。不過還好我主要捉取的是評論- -，然后下拉評論查找評論更新URL規(guī)則
然而我找不到第一頁，卻找到了第二頁- -
熱門評論1.png
查看JSON文件后，可以發(fā)現(xiàn)熱門評論更改page就可以了1頁有9個評論
然后更改里面的鏈接就差不多可以了，還有hot_data改為card_group
def getComments(self,id,page):# id（字符串類型）：某條微博的id，page（整型）：評論翻頁參數(shù)
#url='https://m.weibo.cn/api/comments/show?id='+id+'&page='+str(page)
url = 'https://m.weibo.cn/single/rcList?format=cards&id='+id+'&type=comment&hot=1&page='+str(page)
response=requests.get(url)
ob_json=json.loads(response.text)
list_comments=ob_json['card_group']
return list_comments
3.爬取微博內(nèi)容
原來我寫的有點亂，不好的代碼還是扔在電腦里面好了。現(xiàn)在爬取微博內(nèi)容直接對以上獲取到的list_cards解析就行了，不過圖片有3種形式，分別是縮略圖，壓縮圖，原圖
"thumbnail_pic":"http://wx1.sinaimg.cn/thumbnail/6628711bgy1fca7isjl7nj215o15o167.jpg",
"bmiddle_pic":"http://wx1.sinaimg.cn/bmiddle/6628711bgy1fca7isjl7nj215o15o167.jpg",
"original_pic":"http://wx1.sinaimg.cn/large/6628711bgy1fca7isjl7nj215o15o167.jpg",
4.爬取用戶信息
這個栗子同樣也是使用移動版微博來獲取資料（我這里是從我關(guān)注列表里面獲取的）
使用cookie登錄后 ，再去查看關(guān)注列表的信息。因為是用下拉獲取信息的，所以多次下拉后可以發(fā)現(xiàn)改變page = 的數(shù)值就可以獲取到新的列表
關(guān)注列表.png
可以看到列表里面有個鏈接：https://m.weibo.cn/api/container/getSecond?containerid=1005051896662273_-_FOLLOWERS&page=2 這個containerid這個不知道是什么，之前也沒看過。所以重新跑回主頁查看
真id獲取.png
可以發(fā)現(xiàn)，再這個頁面已經(jīng)出現(xiàn)這個containerid了
到這個頁面獲取就好了，然而我直接填寫= =。。
接著獲取到j(luò)son后就像上面一樣開始分析，下面是一個分析的記過栗子
"card_type":10,
"user":{
"id":5909185172,
"screen_name":"拜托啦學(xué)妹",
"profile_image_url":"https://tva1.sinaimg.cn/crop.0.0.976.976.180/006rUl0gjw8f4uuscl9p5j30r40r410i.jpg",
"profile_url":"https://m.weibo.cn/u/5909185172?uid=5909185172&luicode=10000012&lfid=1005051896662273_-_FOLLOWERS&featurecode=20000320",
"statuses_count":390,
"verified":true, 有沒有認(rèn)證
"verified_type":0, -1 為沒認(rèn)證。0為個人認(rèn)證，其余為企業(yè)認(rèn)證
"verified_type_ext":1, _ext為1時(橙色V)， _ext為0（黃色v）_ext
"verified_reason":"微博知名搞笑視頻博主 教育視頻自媒體 微博簽約自媒體", 認(rèn)證說明
"description":"一個只屬于大學(xué)生的街訪", 簡介
"gender":"f", 性別：f為女m為男
"mbtype":12, 12都是個人賬戶，0也是。2有個人賬戶也有企業(yè)賬戶，11也是企業(yè)賬戶
"urank":27, 等級
"mbrank":5, 會員等級
"follow_me":false, 是否關(guān)注我
"following":true, 我是否關(guān)注他
"followers_count":5445128, 粉絲數(shù)量
"follow_count":69, 關(guān)注量
"cover_image_phone":"https://tva1.sinaimg.cn/crop.0.0.640.640.640/549d0121tw1egm1kjly3jj20hs0hsq4f.jpg",
"desc1":null,
"desc2":null
},
然后就可以獲取了，結(jié)果如下：
id: 5364707424 姓名: Just春苑 簡介: ?? 等級: 9 性別: m 是否關(guān)注我: True
id: 5406572240 姓名: 魅藍手機 簡介: 等級: 17 性別: m 是否關(guān)注我: False
id: 3230122083 姓名: Flyme 簡介: Flyme是魅族基于Android內(nèi)核為旗下智能手機量身打造的操作系統(tǒng)，旨在為用戶提供優(yōu)秀的交互體驗和貼心的在線服務(wù)。源自內(nèi)心的設(shè)計，做最本質(zhì)的思考，F(xiàn)lyme定會讓你刮目相看！ 等級: 35 性別: m 是否關(guān)注我: False
id: 5608433557 姓名: 微博雷達 簡介: 等級: 5 性別: f 是否關(guān)注我: False
id: 1861358972 姓名: 氣勢如虹Leslie 簡介: 去認(rèn)識更廣闊的世界 等級: 16 性別: m 是否關(guān)注我: True
id: 1992613670 姓名: 鳳凰新聞客戶端 簡介: 等級: 37 性別: m 是否關(guān)注我: False
id: 2629306884 姓名: CSDN產(chǎn)品客服 簡介: 還在為你的下載積分太少發(fā)愁嗎？快來參加CSDN做任務(wù)，拿積分活動~~攢下載積分啦~~http://task.csdn.net/rule.aspx 等級: 21 性別: f 是否關(guān)注我: False
id: 2251036402 姓名: Colombo丶Fd 簡介: 等級: 14 性別: m 是否關(guān)注我: True
id: 1720064601 姓名: RNF_牧牧子 簡介: |后院43024|輪協(xié)3.0|脫了一半的偽宅|世上稀有的腐男|絕對領(lǐng)域萬歲|我終于過了CCIE|全(部)球(類)通 等級: 31 性別: m 是否關(guān)注我: True
id: 2472362284 姓名: RNF_某清 簡介: 微不足道。 等級: 22 性別: m 是否關(guān)注我: True
這部分內(nèi)容的代碼：
import re
import requests
import json
from lxml import etree
cookie = {"Cookie": "你的cookie"}
url = 'https://m.weibo.cn/api/container/getSecond?containerid=1005051896662273_-_FOLLOWERS&page=7'
html = requests.get(url, cookies=cookie)
ob_json=json.loads(html.text)
list_cards=ob_json['cards']
for card in list_cards:
if card['card_type'] == 10:
id = card['user']['id']
name = card['user']['screen_name']
description = card['user']['description']
urank = card['user']['urank']
gender = card['user']['gender']
follow_me = card['user']['follow_me']
if gender == 'm':
gender =='男'
if gender == 'f':
gender =='女'
else:
gender == '其他'
if follow_me:
follow_me == '是'
else:
follow_me == '否'
print('id:', id, '姓名:', name ,'簡介:', description ,'等級:', urank, '性別:', gender ,'是否關(guān)注我:', follow_me)
