from lxml import etree
import requests
# -----------------------------------------------
# 一、xpath過濾標(biāo)簽練習(xí)
# 學(xué)完視頻將陽光電影網(wǎng)首頁導(dǎo)航欄前9個(gè)菜單url抓取,輸出結(jié)果為可以正常訪問的url, 并過濾掉"經(jīng)典影片"的菜單url
url='http://www.ygdy8.com'
url_list=[]
req=requests.get(url)
req.encoding='gb2312'
html=req.text
selector=etree.HTML(html)
infos=selector.xpath('//*[@id="menu"]/div/ul//li[position()<10]/a')
for info in infos:
menus_text=info.xpath('text()')
menus_href=info.xpath('@href')
if len(menus_text[0])>0 and menus_text[0]!='經(jīng)典影片':
menu_text=menus_text[0]
menu_href=url+menus_href[0]
# print(menu_text,menu_href)
# 運(yùn)行結(jié)果
# 最新影片 http: // www.ygdy8.com / html / gndy / dyzz / index.html
# 國(guó)內(nèi)電影 http: // www.ygdy8.com / html / gndy / china / index.html
# 歐美電影 http: // www.ygdy8.com / html / gndy / oumei / index.html
# 日韓電影 http: // www.ygdy8.com / html / gndy / rihan / index.html
# 華語電視 http: // www.ygdy8.com / html / tv / hytv / index.html
# 日韓電視 http: // www.ygdy8.com / html / tv / rihantv / index.html
# 歐美電視 http: // www.ygdy8.com / html / tv / oumeitv / index.html
# 最新綜藝 http: // www.ygdy8.com / html / zongyi2013 / index.html
# ------------------------------------------------------------------------------------------------------------------
# 二、循環(huán)內(nèi)請(qǐng)求解析
# 對(duì)第一題解析出來的url進(jìn)行請(qǐng)求,解析出每個(gè)菜單的分頁總數(shù),每個(gè)菜單的id,并構(gòu)造出全部的菜單分頁請(qǐng)求url,全部存進(jìn)一個(gè)url_list變量,url_list變量為列表
req2=requests.get(menu_href)
req2.encoding='gb2312'
html2=req2.text
selector2=etree.HTML(html2)
page_info=selector2.xpath('//div[@class="x"]//text()')[1].split('/')[0].replace('共','').replace('頁','').strip()
list_id=selector2.xpath('//div[@class="x"]//a/@href')[0].split('.')[0].split('_')[1]
print(menu_text,menu_href,'TotalPage:',page_info,'list_id:',list_id)
for ipage in range(int(page_info)):
page_url=menu_href.replace('index.html','')+'list_'+list_id+'_'+str(ipage+1)+'.html'
url_list.append(page_url)
# 運(yùn)行結(jié)果
# 最新影片 http://www.ygdy8.com/html/gndy/dyzz/index.html TotalPage: 168 list_id: 23
# 國(guó)內(nèi)電影 http://www.ygdy8.com/html/gndy/china/index.html TotalPage: 97 list_id: 4
# 歐美電影 http://www.ygdy8.com/html/gndy/oumei/index.html TotalPage: 179 list_id: 7
# 日韓電影 http://www.ygdy8.com/html/gndy/rihan/index.html TotalPage: 29 list_id: 6
# 華語電視 http://www.ygdy8.com/html/tv/hytv/index.html TotalPage: 18 list_id: 71
# 日韓電視 http://www.ygdy8.com/html/tv/rihantv/index.html TotalPage: 36 list_id: 8
# 歐美電視 http://www.ygdy8.com/html/tv/oumeitv/index.html TotalPage: 14 list_id: 9
# 最新綜藝 http://www.ygdy8.com/html/zongyi2013/index.html TotalPage: 135 list_id: 99
【Python爬蟲作業(yè)】- 第15次,xpath過濾標(biāo)簽提取url
最后編輯于 :
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。
- 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
- 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我,道長(zhǎng),這世上最難降的妖魔是什么? 我笑而不...
- 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
- 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
- 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
- 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
- 正文 年R本政府宣布,位于F島的核電站,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
- 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
- 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...