近日在學習網頁爬蟲的時候發現對于某些用gbk編碼的網頁,post請求的參數在fiddler中顯示是亂碼,而用pycharm抓取用gbk編碼的網頁的時候也會出現亂碼。現將解決辦法記錄一下。
一、fiddler中的post參數亂碼
1、運行regedit打開注冊表
2、找到HKEY_CURRENT_USER\Software\Microsoft\Fiddler2
3、右鍵新建,選字符串值加上HeaderEncoding然后值輸入 GBK
4、重啟軟件即可
二、pycharm抓取網頁亂碼
最后的response加上decode即可,示例代碼如下:
content = response.read().decode('gbk')