我的第一個在線網頁的爬蟲出生了,感覺自己就是有黑魔法(黑科技)的養蠱的人。
我的代碼和運行界面:
總結一下經驗:
一、使用chrome解析網頁源代碼的時候,copy selector路徑有時并不準,因為有些標簽是動態加載的,其中的標簽代碼是自動生成的,與源代碼并不一致,要得到準確的路徑,最好還是分析網頁的源代碼。
二、BeautifulSoup解析網頁返回的對象是一個類似的列表的對象,可以好像獲取列表元素一樣獲取它的元素,如果該對象只有一個元素,就直接去它的[0]元素就可以了。
我的第一個在線網頁的爬蟲出生了,感覺自己就是有黑魔法(黑科技)的養蠱的人。
我的代碼和運行界面:
總結一下經驗:
一、使用chrome解析網頁源代碼的時候,copy selector路徑有時并不準,因為有些標簽是動態加載的,其中的標簽代碼是自動生成的,與源代碼并不一致,要得到準確的路徑,最好還是分析網頁的源代碼。
二、BeautifulSoup解析網頁返回的對象是一個類似的列表的對象,可以好像獲取列表元素一樣獲取它的元素,如果該對象只有一個元素,就直接去它的[0]元素就可以了。