閑來無事想玩玩爬蟲，但在mac上折騰Python還真是挺不容易的，尤其是scrapy的安裝。這篇文章絕大部分內(nèi)容是別人的經(jīng)驗，我只是將他們?nèi)嗟搅艘黄穑纬梢粋€連貫的步驟，也給想學(xué)習的人提供一些借鑒，如有侵權(quán)，請告知，我馬上刪除。
一.安裝python
mac系統(tǒng)自帶了一個python的執(zhí)行執(zhí)行環(huán)境，但為了獲取最新版的python，我們需要重新安裝python。這里有兩種方案安裝：
1.homebrew
brew install python
這個方案比較簡單,如果出錯的話可以給前面加sudo試試,這個安裝的python可能不是最新版.
2.從官網(wǎng)下載安裝
大家可以從https://www.python.org/download下載安裝最新版的python,安裝比較無腦,一路按下去就OK,缺點是以后升級,卸載都得自己維護.
這兩個方法安裝的python的位置是不一樣的,大家可以用:
whichpython
來查看安裝位置.安裝完成后在終端中鍵入python來驗證安裝是否成功.
二. 安裝pip
這里好多文章中說要先安裝easy_install, 其實是不用的.
1.我們先獲取pip安裝腳本:
如果沒有安裝wget可以去https://bootstrap.pypa.io/get-pip.py將所有內(nèi)容復(fù)制下來,新建get-pip.py文件,將內(nèi)容拷進去就OK了.
2.安裝pip
sudo python get-pip.py
用python執(zhí)行剛才獲取的腳本,這里sudo可以選擇使用,若遇到類似這個報錯則必須加sudo:
Exception:
Traceback (most recent call last):
...
OSError: [Errno 13]
Permission denied: 'XXX/pip-0.7.2-py2.7.egg/EGG-INFO/dependency_links.txt'
Storing debug log for failure
in /Users/bilt/.pip/pip.log
安裝成功后可以在終端中鍵入pip來檢測,如果不行重啟終端后嘗試.
3.修改pip源
使用pip安裝一些模塊會特別慢甚至無法下載,因此我們需要修改pip的源到國內(nèi)的一些鏡像地址,特別感謝國內(nèi)無私奉獻的組織~
首先進入HOME路徑:
cd~
創(chuàng)建.pip目錄:
mkdir .pip
創(chuàng)建pip.conf文件:
touch pip.conf
大家可以用自己喜歡的編輯器打開pip.conf文件,我現(xiàn)在使用的時v2ex的源,所以添加:
[global]
index-url =http://pypi.v2ex.com/simple
大家可以把index-url的值設(shè)置為自己實際源的地址.
至此pip源修改成功,以后使用pip安裝模塊時都會從這個源去下載安裝,大家可以自行測試一下.
三. 其他模塊安裝
1.Pillow/PIL
想用python處理圖片,自然少不了PIL這個模塊, 由于PIL長期沒有更新了, 所以有了Pillow這個模塊。
sudo pip install -U Pillow
2.urllib2、requests、 beautiful soup 4
安裝方法同上
四.PyCharm的安裝
下載PyCharm，免費版的雖然夠用，但也僅僅是夠用，想爬蟲什么的還是不行，不想花錢的話百度一個注冊碼吧，畢竟只是學(xué)習的話還是有點貴。裝好后，在設(shè)置中搜索theme，修改下配色方案，就可以使用了。
裝好后，在設(shè)置中搜索theme，修改下配色方案，就可以使用了。
五.安裝scrapy
Scrapy是python爬蟲的一個框架，有了它，我們爬蟲將會更加容易實現(xiàn)。
1.搭建虛擬環(huán)境virtualenv。virtualenv就是用來為一個應(yīng)用創(chuàng)建一套“隔離”的Python運行環(huán)境。
首先，我們用pip安裝virtualenv：
$ pip install virtualenv
然后，創(chuàng)建目錄
fxhdeMacBook-Pro:~ fxh$ cd
/users/fxh/documents/vir
fxhdeMacBook-Pro:vir fxh$
virtualenv --no-site-packages scrapy1
最后，啟動環(huán)境
fxhdeMacBook-Pro:vir fxh$ source
scrapy1/bin/activate
2.在新建的虛擬環(huán)境中安裝scrapy
pip install scrapy
六.pycharm關(guān)聯(lián)
打開pycharm
選擇create new project
然后在interpertr中找到你剛才用virtualenv創(chuàng)建的虛擬環(huán)境，注意，應(yīng)該選擇/bin/pythin2.7這個文件。
至此，環(huán)境已搭配完畢，可以使用了。
