爬取拉鉤網招聘信息 儲存到mongodb

本文源代碼在 https://github.com/zhangshier/-.git 可下載

安裝 pip install scrapy ?

安裝pip install pymongo


需要爬取的內容


?分析拉鉤頁面 ?按住F12


開始創建項目

1.新建個文件夾 ?本人是在F 盤下的pachong文件夾下 ?各位隨意

然后win+R啟動cmd命令 ?跳轉到你的文件下?

使用 scrapy startproject lagou 創建存放爬蟲的文件


回車后創建項目 然后 進入你創建的項目 然后創建爬蟲


使用scrapy genspider lgw lagou.com 創建爬蟲


main.py 里配置下


fromscrapy.cmdlineimportexecute

importsys

importos

sys.path.append(os.path.dirname(os.path.abspath(__file__)))

execute(["scrapy","crawl","lgw"])

要找到的‘java開發工程師’?

使用xpath 匹配

xpath 不會的可以參考 http://www.w3school.com.cn/xpath/index.asp

使用xpath匹配java工程師

response.xpath('//div[@class="list_item_top"]/div[@class="position"]/div[@class="p_top]/a/h2/text(')


可以直接在main 里使用run 運行



配置mondogo


items.py


數據庫內容展示


最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • scrapy學習筆記(有示例版) 我的博客 scrapy學習筆記1.使用scrapy1.1創建工程1.2創建爬蟲模...
    陳思煜閱讀 12,763評論 4 46
  • Scrapy是一個純Python語言寫的爬蟲框架,本次用它來爬取豆瓣圖書的數據。 準備工作 沒有安裝Scrapy的...
    teaGod閱讀 7,060評論 15 18
  • 說起水煎包,在山東叫水煎包,到上海一帶又變成生煎饅頭,前者用加了面粉的水煎成,后者是清水煮就,做法有些差別。 ...
    旗袍戀西點閱讀 374評論 0 1
  • 今天滿腦子都是飛合在大組會說過的話,畢竟是老師,看問題很精準!中周末就可以看到她了,希望她快點小宇宙爆發! ...
    徐麗紅閱讀 286評論 0 0
  • 秋天里的她 嫁期來臨 春花變為舊夢中的美好 夏陽已成熱戀后的回憶 情感身心和年齡在這季節 全是豐滿而成熟的詩句 她...
    秋AldrichB果閱讀 211評論 1 12