假設各位老哥已經安裝好了bs4 requests這些庫了
這個小說是隨便挑的，各位也就不用太介意（僅供各位學習）
python3 實現，網上用python2做爬蟲的太多了，但用python3的還是比較少
- 爬取的鏈接是
https://www.qu.la/book/12763/10664294.html - 代碼長度：20行（包括了為了好看而做的東西）
- 主要問題是：gbk編碼問題
- 注意看下一個with那，調一個自己一個有的地址就好了（至于txt文件，那個是可以自動新建的，不用擔心）
第一步 實現了對單一章節的網頁的爬取并存儲
代碼如下：
import requests
from bs4 import BeautifulSoup
url = "https://www.qu.la/book/12763/10664294.html"
req = requests.get(url)
req.encoding = 'utf-8'
soup = BeautifulSoup(req.text, 'html.parser')
content = soup.find(id='content')
with open('E:/Code/Python/Project/txtGet/1.txt', 'w') as f:
string = content.text.replace('\u3000', '').replace('\t', '').replace('\n', '').replace('\r', '').replace('『', '“')\
.replace('』', '”') # 去除不相關字符
string = string.split('\xa0') # 編碼問題解決
string = list(filter(lambda x: x, string))
for i in range(len(string)):
string[i] = ' ' + string[i]
if "本站重要通知" in string[i]: # 去除文末尾注
t = string[i].index('本站重要通知')
string[i] = string[i][:t]
string = '\n'.join(string)
print(string)
f.write(string)
進階文章：
爬取小說（步驟二）python
爬取小說（步驟三）python
爬取小說（步驟四）python
爬取小說（步驟五）python
爬取小說（步驟六）python
