scrapy傻瓜式爬取蘋(píng)果日?qǐng)?bào)新聞標(biāo)題

如何安裝和創(chuàng)建項(xiàng)目這個(gè)不說(shuō)了。直接上代碼

QQ截圖20160728231951.png

在spiders目錄下創(chuàng)建crawl.py

import scrapy
from bs4 import BeautifulSoup

class AppleCrawler(scrapy.Spider):
    name = "apple"
    start_urls = ['http://www.appledaily.com.tw/realtimenews/section/new']
    def parse(self,response):
        res = BeautifulSoup(response.body)
        for news in res.select('.rtddt'):
            print news.select('h1')[0].text
            ```
然后打開(kāi)CDM 直接運(yùn)行吧
`scrapy crawl apple`

![QQ截圖20160728232347.png](http://upload-images.jianshu.io/upload_images/2577034-13ea43198021937f.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

都是現(xiàn)學(xué)現(xiàn)做的,其實(shí)我現(xiàn)在還不會(huì)用scrapy爬圖片還有保存。這兩天再找個(gè)能用的教程學(xué)下爬圖片。簡(jiǎn)書(shū)上有兩個(gè)scrapy爬圖片的教程,可是我復(fù)制代碼好像用不了。昨天其實(shí)有想學(xué)使用Git,可是上傳不了,過(guò)段時(shí)間再學(xué)好了。
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

推薦閱讀更多精彩內(nèi)容