python爬蟲爬取豆瓣電影Top250之我小試

我的第一個爬蟲作品,一天完成,紀念一下!

代碼如下:

import requests

from bs4 import BeautifulSoup

urls =['https://movie.douban.com/top250?start={}&filter='.format(str(i*25)) for i in range(0,10)]

def get_movieinfo(urls,data = None):

web_data=requests.get(urls)

soup =BeautifulSoup(web_data.text,'lxml')

for data in soup.select('.item'):

rank = data.select('em')[0].text

name = data.select('.info')[0].select('a')[0].text.split('\n')[1]

score = data.select('.rating_num')[0].text

link = data.select('a')[0]['href']

director_actor = data.select('.bd')[0].text.split('\n')[2].lstrip('? ')

time_country = data.select('.bd')[0].text.split('\n')[3].lstrip('? ')

print(rank, name, score, link,director_actor, time_country)

for a in urls:

get_movieinfo(a)

結果如下截圖:


最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容