import requests
from bs4 import BeautifulSoup
import re

#爬取個人簡書首頁文章
articleList=[]  #用于保存所寫的文章
articleInfo={}
jianshu='www.lxweimin.com'
try:
    r=requests.get('http://www.lxweimin.com/u/16d377e2ed69')     #獲得了一個Response對象。更改入口時，修改此處鏈接
    print(r.url)
except Exception as e:
    print("The exception is {}".format(e))

soup=BeautifulSoup(r.text,'lxml')
# artList=soup.select('ul > li')  #獲取ul下的直接子節(jié)點li
artList=soup.select('ul[class=note-list]')
# print(len(artList))   #判斷出獲取成功
# print(type(artList))
artList=artList[0]  #轉(zhuǎn)換為Tag類型
# print(type(artList))  #觀察類型
f=open('test.txt','a')
YM=re.compile(r'\d{4}-\d{2}-\d{2}')
HM=re.compile(r'\d\d:\d\d:\d\d')
lenTitle=[]
for article in artList.find_all('li'):
    title=article.find_all('a',class_='title')[0].text
    time=article.select('span[class=time]')[0]['data-shared-at']
    url=article.find_all('a',class_='title')[0]['href']
    getYM=re.search(YM,time)
    getHM=re.search(HM,time)

    finish_time=getYM.group()+'  '+getHM.group()
    lenTitle.append(len(title))
    print('標題: %30s  完成時間:%s  地址為： %s%s' % (title,finish_time,jianshu,url),file=f)

下次版本修改：

1.終端輸入用戶名，完成爬取

2.保存至csv文件

3.動態(tài)加載網(wǎng)頁的處理（這個......）