我的網絡爬蟲出生了

我的第一個在線網頁的爬蟲出生了,感覺自己就是有黑魔法(黑科技)的養蠱的人。

我的代碼和運行界面:


總結一下經驗:

一、使用chrome解析網頁源代碼的時候,copy selector路徑有時并不準,因為有些標簽是動態加載的,其中的標簽代碼是自動生成的,與源代碼并不一致,要得到準確的路徑,最好還是分析網頁的源代碼。

二、BeautifulSoup解析網頁返回的對象是一個類似的列表的對象,可以好像獲取列表元素一樣獲取它的元素,如果該對象只有一個元素,就直接去它的[0]元素就可以了。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • Spring Cloud為開發人員提供了快速構建分布式系統中一些常見模式的工具(例如配置管理,服務發現,斷路器,智...
    卡卡羅2017閱讀 134,869評論 18 139
  • HTML標簽解釋大全 一、HTML標記 標簽:!DOCTYPE 說明:指定了 HTML 文檔遵循的文檔類型定義(D...
    米塔塔閱讀 3,310評論 1 41
  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 173,076評論 25 708
  • 文/劉彩霞 (十二) 小邱開始是好言相勸,接下來是表明態度,就是不讓宮慶慶回來,到最后,怎么阻止也沒有效果。上午九...
    彩霞漫天閱讀 161評論 0 0
  • 24歲。 雛菊。 工資。 努力。 盒子書生/第三十七天
    盒子書生閱讀 85評論 0 1