Python爬蟲數據抓取思路

一：確定需求，比如需要哪些字段：
二：尋找能提供全部需求的數據源
1.如果能找到：
1.1分析數據加載的方式（動態or靜態）
1,2根據數據加載方式，分析是否有反扒，還有反扒的強度（抓包和進行request）
1.3確定反扒強度：
1.3.1 if ok：
1.3.1.1確定數據類型數據格式，制定數據抽取規則，
1.3.1.2入庫，successfully;
1.3.2 else:
回到二
2.如果找不到：
2.1.尋找數據源，多個數據源進行拼湊
2.2在各個數據源下執行 二.1

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • Spring Cloud為開發人員提供了快速構建分布式系統中一些常見模式的工具（例如配置管理，服務發現，斷路器，智...
    卡卡羅2017閱讀 134,923評論 18贊 139
  • feisky云計算、虛擬化與Linux技術筆記posts - 1014, comments - 298, trac...
    不排版閱讀 3,916評論 0贊 5
  • 1.ios高性能編程 (1).內層 最小的內層平均值和峰值(2).耗電量 高效的算法和數據結構(3).初始化時...
    歐辰_OSR閱讀 29,600評論 8贊 265
  • 不記得從什么時候，我開始玩天天愛消除這款游戲。隱約記得是有一次等車，窮極無聊，隨手下載了這個游戲。 最初玩經典模式...
    曲非煙2018閱讀 793評論 6贊 1
  • 1 我們普通人想要改變命運，想要逆襲，想要給家人更好的生活，就要付出更多的努力才行。2、 8小時之內求生存，8小時...
    冀云來了閱讀 188評論 0贊 0