先來(lái)看看有哪些項(xiàng)目呢：
python爬蟲小工具（文件下載助手）
爬蟲實(shí)戰(zhàn)（筆趣看小說(shuō)下載）
爬蟲實(shí)戰(zhàn)（VIP視頻下載）
爬蟲實(shí)戰(zhàn)（百度文庫(kù)文章下載）
爬蟲實(shí)戰(zhàn)（《帥啊》網(wǎng)帥哥圖片下載）
爬蟲實(shí)戰(zhàn)（構(gòu)建代理IP池）
爬蟲實(shí)戰(zhàn)（《火影忍者》漫畫下載）
爬蟲實(shí)戰(zhàn)（財(cái)務(wù)報(bào)表下載小助手）
爬蟲實(shí)戰(zhàn)（抖音App視頻下載）
爬蟲實(shí)戰(zhàn)（GEETEST驗(yàn)證碼破解）
爬蟲實(shí)戰(zhàn)（12306搶票小助手）
爬蟲實(shí)戰(zhàn)（百萬(wàn)英雄答題輔助系統(tǒng)）
爬蟲實(shí)戰(zhàn)（網(wǎng)易云音樂(lè)批量下載）
爬蟲實(shí)戰(zhàn)（B站視頻和彈幕批量下載）
爬蟲實(shí)戰(zhàn)（京東商品曬單圖下載）
爬蟲實(shí)戰(zhàn)（正方教務(wù)管理系統(tǒng)爬蟲）
怎么樣？是不是迫不及待的想自己動(dòng)手試試了呢？
爬蟲小工具
文件下載小助手
一個(gè)可以用于下載圖片、視頻、文件的小工具，有下載進(jìn)度顯示功能。稍加修改即可添加到自己的爬蟲中。
代碼展示：
爬蟲實(shí)戰(zhàn)
《筆趣看》盜版小說(shuō)網(wǎng)站，爬取小說(shuō)工具
第三方依賴庫(kù)安裝：
pip3 install beautifulsoup4
使用方法：
python biqukan.py
代碼展示：
愛奇藝等主流視頻網(wǎng)站的VIP視頻破解助手(暫只支持PC和手機(jī)在線觀看VIP視頻！)
學(xué)習(xí)Python中的小伙伴，需要學(xué)習(xí)資料的話，可以前往我的微信公眾號(hào)：速學(xué)Python，后臺(tái)回復(fù)：簡(jiǎn)書，即可拿Python學(xué)習(xí)資料
這里有我自己整理了一套最新的python系統(tǒng)學(xué)習(xí)教程，包括從基礎(chǔ)的python腳本到web開發(fā)、爬蟲、數(shù)據(jù)分析、數(shù)據(jù)可視化、機(jī)器學(xué)習(xí)等。送給正在學(xué)習(xí)python的小伙伴！這里是python學(xué)習(xí)者聚集地，歡迎初學(xué)和進(jìn)階中的小伙伴！
運(yùn)行源碼需要搭建Python3環(huán)境，并安裝相應(yīng)第三方依賴庫(kù)：
pip3 install -r requirements.txt
使用方法：
python movie_downloader.py
運(yùn)行環(huán)境：
Windows, Python3
Linux, Python3
Mac, Python3
代碼展示：
百度文庫(kù)word文章爬取
代碼不完善，沒有進(jìn)行打包，不具通用性，純屬娛樂(lè)，以后有時(shí)間會(huì)完善。
代碼展示：
爬取《帥啊》網(wǎng)，帥哥圖片
運(yùn)行平臺(tái)： Windows
Python版本： Python3.x
IDE： Sublime text3
為了也能夠?qū)W習(xí)到新知識(shí)，本次爬蟲教程使用requests第三方庫(kù)，這個(gè)庫(kù)可不是Python3內(nèi)置的urllib.request庫(kù)，而是一個(gè)強(qiáng)大的基于urllib3的第三方庫(kù)。
代碼展示：
構(gòu)建代理IP池
代碼展示：
使用Scrapy爬取《火影忍者》漫畫
代碼可以爬取整個(gè)《火影忍者》漫畫所有章節(jié)的內(nèi)容，保存到本地。更改地址，可以爬取其他漫畫。保存地址可以在代碼中修改。
代碼展示：
《王者榮耀》推薦出裝查詢小助手
網(wǎng)頁(yè)爬取已經(jīng)會(huì)了，想過(guò)爬取手機(jī)APP里的內(nèi)容嗎？
代碼展示：
財(cái)務(wù)報(bào)表下載小助手
爬取的數(shù)據(jù)存入數(shù)據(jù)庫(kù)會(huì)嗎？《跟股神巴菲特學(xué)習(xí)炒股之財(cái)務(wù)報(bào)表入庫(kù)(MySQL)》也許能給你一些思路。
代碼展示：
抖音App視頻下載
抖音App的視頻下載，就是普通的App爬取。
代碼展示：
GEETEST驗(yàn)證碼破解
爬蟲最大的敵人之一是什么？沒錯(cuò)，驗(yàn)證碼！Geetest作為提供驗(yàn)證碼服務(wù)的行家，市場(chǎng)占有率還是蠻高的。遇到Geetest提供的滑動(dòng)驗(yàn)證碼怎么破？授人予魚不如授人予漁，接下來(lái)就為大家呈現(xiàn)本教程的精彩內(nèi)容。
代碼展示：
用Python搶火車票簡(jiǎn)單代碼
可以自己慢慢豐富，蠻簡(jiǎn)單，有爬蟲基礎(chǔ)很好操作。
代碼展示：
baiwan:百萬(wàn)英雄輔助答題
看了網(wǎng)上很多的教程都是通過(guò)OCR識(shí)別的，這種方法的優(yōu)點(diǎn)在于通用性強(qiáng)。不同的答題活動(dòng)都可以參加，但是缺點(diǎn)也明顯，速度有限，并且如果通過(guò)調(diào)用第三方OCR，有次數(shù)限制。但是使用本教程提到的數(shù)據(jù)接口。我們能很容易的獲取數(shù)據(jù)，速度快，但是接口是變化的，需要及時(shí)更新。
代碼展示：
功能介紹：
服務(wù)器端，使用Python（baiwan.py）通過(guò)抓包獲得的接口獲取答題數(shù)據(jù)，解析之后通過(guò)百度知道搜索接口匹配答案，將最終匹配的結(jié)果寫入文件（file.txt)。
Node.js（app.js）每隔1s讀取一次file.txt文件，并將讀取結(jié)果通過(guò)socket.io推送給客戶端（index.html）。
親測(cè)答題延時(shí)在3s左右。
聲明：沒做過(guò)后端和前端，花了一天時(shí)間，現(xiàn)學(xué)現(xiàn)賣弄好的，javascript也是現(xiàn)看現(xiàn)用，百度的程序，調(diào)試調(diào)試而已。可能有很多用法比較low的地方，用法不對(duì)，請(qǐng)勿見怪，有大牛感興趣，可以自行完善。
Netease:根據(jù)歌單下載網(wǎng)易云音樂(lè)
功能介紹：
根據(jù)music_list.txt文件里的歌單的信息下載網(wǎng)易云音樂(lè)，將自己喜歡的音樂(lè)進(jìn)行批量下載。
代碼展示：
bilibili：B站視頻和彈幕批量下載
下載B站視頻和彈幕，將xml原生彈幕轉(zhuǎn)換為ass彈幕文件，支持plotplayer等播放器的彈幕播放。
代碼展示：
使用說(shuō)明：
python bilibili.py -d 貓 -k 貓 -p 10
三個(gè)參數(shù)：
-d保存視頻的文件夾名
-kB站搜索的關(guān)鍵字
-p下載搜索結(jié)果前多少頁(yè)
京東商品曬單圖下載
使用說(shuō)明：
python jd.py -k 芒果
三個(gè)參數(shù)：
-d保存圖片的路徑，默認(rèn)為fd.py文件所在文件夾
-k搜索關(guān)鍵詞
-n 下載商品的曬單圖個(gè)數(shù)，即n個(gè)商店的曬單圖
代碼展示：
對(duì)正方教務(wù)管理系統(tǒng)個(gè)人課表，學(xué)生成績(jī)，績(jī)點(diǎn)等簡(jiǎn)單爬取
依賴環(huán)境
python 3.6
python庫(kù)
http請(qǐng)求：requests，urllib
數(shù)據(jù)提取：re，lxml，bs4
存儲(chǔ)相關(guān)：os，sys
驗(yàn)證碼處理：PIL
下載安裝
在終端輸入如下命令：
git clone git@github.com:Jack-Cherish/python-spider.git
使用方法
安裝依賴包
pip install -r requirements.txt
運(yùn)行
在當(dāng)前目錄下輸入：
cd zhengfang_system_spider
python spider.py
運(yùn)行爬蟲，按提示輸入學(xué)校教務(wù)網(wǎng)，學(xué)號(hào)，密碼，輸入驗(yàn)證碼
稍等幾秒鐘，當(dāng)前ZhengFang_System_Spider文件夾下就會(huì)生成zhengfang.txt
個(gè)人課表，成績(jī)績(jī)點(diǎn)均已保存到該文本文件中
代碼展示：
