一、通過item loader加載Item

在jobbole.py中引入from scrapy.loader import ItemLoader
通過item loader調用：

        item_loader = ItemLoader(item=JobBoleArticleItem(), response=response)
        item_loader.add_css("title", ".entry-header h1::text")
        item_loader.add_value("url", response.url)
        item_loader.add_value("url_object_id", get_md5(response.url))
        item_loader.add_css("create_date", "p.entry-meta-hide-on-mobile::text")
        front_image_url = response.meta.get("front_image_url", "")  # 文章封面圖
        item_loader.add_value("front_image_url", [front_image_url])
        item_loader.add_css("praise_nums", ".vote-post-up h10::text")
        item_loader.add_css("comment_nums", "a[href='#article-comment'] span::text")
        item_loader.add_css("fav_nums", ".bookmark-btn::text")
        item_loader.add_css("tags", "p.entry-meta-hide-on-mobile a::text")
        item_loader.add_css("content", "div.entry")

        article_item = item_loader.load_item()

其中第一行中JobBoleArticleItem()為在items.py中聲明的實例，response為返回的響應。這屬于固定寫法。
add_css()中第一個值為items.py中定義的值，第二個值為css選擇器規則
不只有add_css()也有xpath的選擇器add_xpath()，在需要時選用。
同理，add_value()為添加確定值的方法。這里通過值傳遞附給front_image_url再通過add_value的方法，加入到最終的item中。

最后通過調用load_item()方法對結果進行解析，所有的結果都是一個list并保存到article_item中。

item loader三個主要的方法分別是：add_css(), add_xpath(), add_value()

二、通過items.py處理數據

引入from scrapy.loader.processors import MapCompose
在scrapy.Field中可以加入處理函數：

    title = scrapy.Field(
        input_processor = MapCompose(lambda x:x+"----", add_string)
    )

def add_string(value):
    return value+"-這是后綴"

在jobbole.py中設置斷點，可以看到的結果是已經出現了定義的后綴了。

Paste_Image.png

    title = scrapy.Field(
        input_processor = MapCompose(lambda x:x+"----", add_jobbole),
        output_processor = TakeFirst()
    )

即可以得到第一個值。
由于每一個結果都是取第一個值，每個值全部調用這個方法重復代碼過多，可以通過自定義Item loader重載的方法解決。
引入from scrapy.loader import ItemLoader
這個庫文件提供了以下方法：

class ItemLoader(object):

    default_item_class = Item
    default_input_processor = Identity()
    default_output_processor = Identity()
    default_selector_class = Selector

自定義itemloader

class ArticleItemLoader(ItemLoader):
    default_output_processor = TakeFirst()

然后在jobbole.py文件中，把
item_loader = ItemLoader(item=JobBoleArticleItem(), response=response)中的ItemLoader變為ArticleItemLoader。即

item_loader = ArticleItemLoader(item=JobBoleArticleItem(), response=response)

同時在文件頭引入from articlespider.items import JobBoleArticleItem,ArticleItemLoader
這樣得到的結果就是一個值而不是list了。

Paste_Image.png

    tags = scrapy.Field(
        output_processor=Join(','),
    )

Paste_Image.png

def remove_comment(value):
    if '評論' in value:
        return ''
    else:
        return value

在處理圖片時，使用pipelines需要傳遞的是一個列表，這里經過處理后，變成了str。可以通過一個默認函數不讓默認的TakeFirst處理即可。

def return_value(value):
    return value

調用方法是

    front_image_url = scrapy.Field(
        output_processor=MapCompose(return_value),
    )