簡述

本節繼續實現知乎關注對象用戶信息，主要使用 json 解析，cookie 模擬等手段實現。

目標對象

依舊是知乎輪子哥關注對象

使用包

import codecs
import json
import time, os #定時抓取
import requests 
import datetime #精確時間

主要實現方式

Paste_Image.png

通過抓包分析，確定目標json，嘗試直接抓取，返回封裝錯誤

{'error': {'message': '請求頭或參數封裝錯誤', 'code': 100, 'name': 'AuthenticationInvalidRequest'}}

嘗試直接使用已登錄cookie抓取

cookies = {}

raw_cookies = '自己的key，可通過F12瀏覽器，查看替換'

for line in raw_cookies.split(':'):
    key,value = line.split('=', 1)
    cookies[key] = value

def download_page(url):
    return requests.get(url,cookies=cookies, headers={
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'
    }, timeout=120).json()

返回json解析

Paste_Image.png

總結

本次實現過程中主要涉及cookie模擬（還可擴展自行實現模擬登錄，獲取cookie），其他遞歸操作、文件輸出、圖片另存均于之前示例一致，只能算簡單復習。

Paste_Image.png

源碼：
spider_www.zhihu.com_following_json