學習階段五(update:2013-3-28 0:38):實現功能：為減少工作量，僅抓取所有tag頁下前3頁電影信息，不足3頁，則全部抓取。代碼如下：
# -*- coding: cp936 -*-
import urllib2
import re
import time
starttime=time.time()
raw_text=urllib2.urlopen('http://movie.douban.com/tag/?view=type').read()
text0=re.findall('"./.*?"',raw_text)#初步抓取tag，findall輸出為list
text1=''.join(text0)#list轉str，方便replace
text2=text1.replace('"./','').replace('"','\n')#tag提取完成
a=file('douban_movie9.txt','w')
a.write(text2)#分階段保存，方便分階段排除問題
text3=[]
a=file('douban_movie9.txt','r')
for text4 in text2.split('\n'):
tagurl=urllib2.urlopen('http://movie.douban.com/tag/%s'%text4).read()
raw_tagurl_page=re.findall('page="\d{1,}"',tagurl)
tagurl_=''.join(raw_tagurl_page)
tagurl_page=tagurl_.replace('page=','').replace('"','') #僅一頁的tag無提前信息，會是空值
if tagurl_page!='':#用if為非空值tag指定總頁數
tagurl_page=int(tagurl_page)#str轉為int，為下步判斷值做準備
if tagurl_page>3:#多于3頁的，只抓取3頁
tagurl_page=3
if tagurl_page<4:#少于等于3頁的，全部抓取
tagurl_page=tagurl_page
else:#空值tag定義為一頁
tagurl_page=1
for i in range(tagurl_page):
tag_url='http://movie.douban.com/tag/%s'%text4+'?start=%d&type=T'%(i*20)+'\n'
#print tag_url
text3.append(tag_url)
#del text3[-1]
textt=''.join(text3)
b=file('douban_movie10.txt','w')
b.write(textt)
b=file('douban_movie10.txt','r')
a.close()
f=file('douban_movie10.txt','r').read().strip()#strip很關鍵，之前沒有弄，總提示ValueError: unknown url type: 。
n=0
text8=[]#新建空list，方便后面append
for text12 in f.split('\n'):#for in對象需為list，用split將str轉為list
n=n+1
print n#查看進度 也方便排除問題
#if text12==' ':#之前為解決ValueError: unknown url type: 特意加的，沒有效果。問題應該用strip解決
#continue
raw_tagurl_text=urllib2.urlopen(text12).read()#循環打開URL讀取
tagurl_text=re.findall('''http://movie.douban.com/subject/\d{1,}/"? class="">
.*?
/ .*?|
.*?''',raw_tagurl_text)#初步提取電影信息
text6=''.join(tagurl_text)
text7=text6.replace('''
''','\t').replace('''"? class="">
''','\t').replace('','\n').replace('''
/ ''','\t/').replace('\n
print text7
text8.append(text7)#將for結果賦值到空list
text9=''.join(text8)#轉str? write要求
e=file('douban_movie11.txt','w')
e.write(text9)
endtime=time.time()
print '用時%ss'%(starttime-endtime)
b.close()
e.close()
運行結果：
學習總結：1、共有tag130+，取前三頁，每頁最多20條信息。總共下來約有130*3*20，不到8000.用時-302.459000111s 算是取得階段性的成果2、爬蟲很糙，只有最簡單的邏輯。抓下來的數據不方便存儲，不方便進行下一步分析及html編輯。只用到for函數和%。3、初步了解python爬蟲邏輯，初級問題多可以自行解決。接下來需要加強class def 多線程 代理等方面的學習，爬蟲智能化
