關(guān)于bs4，官方文檔的介紹已經(jīng)非常詳細(xì)了,傳送：Beautifulsoup 4官方文檔,這里我把它組織成自己已經(jīng)消化的筆記，你們最好看官方的，官方的全些可視化更強(qiáng)。本文從解釋器，DOM樹(shù)創(chuàng)建，遍歷DOM樹(shù)，修改DOM樹(shù)，Beautiful Soup3和4的區(qū)別，Soup結(jié)合Requests 這幾個(gè)主題整理。ps，其實(shí)如果掌握了javascript的DOM樹(shù)的話，會(huì)更好理解soup。
Beautiful Soup
將復(fù)雜HTML文檔轉(zhuǎn)換成一個(gè)復(fù)雜的樹(shù)形結(jié)構(gòu)DOM,每個(gè)節(jié)點(diǎn)都是Python對(duì)象,所有對(duì)象可以歸納為4種: Tag , NavigableString , BeautifulSoup , Comment .
A、DOM樹(shù)的解釋器：
推薦使用lxml作為解析器,因?yàn)樾矢撸馕銎鞯暮锰幨强梢匀蒎e(cuò)比如沒(méi)有結(jié)束標(biāo)簽。
B、創(chuàng)建DOM樹(shù)的三種類型：
1)打開(kāi)本地文件with open("foo.html","r") as foo_file:soup_foo = BeautifulSoup(foo_file)
2)手動(dòng)創(chuàng)建soup = BeautifulSoup(“hello world”，編碼類型選填)
3)打開(kāi)外部文件url = "http://www.packtpub.com/books"??? page = urllib.urlopen(url)soup_packtpage = BeautifulSoup(page,'lxml')
C.DOM樹(shù)介紹：
節(jié)點(diǎn)【元素，屬性，內(nèi)容（string，NavigableString，contents，Comment】，還有節(jié)點(diǎn)的家庭【父節(jié)點(diǎn)，同輩鄰接兄弟節(jié)點(diǎn)，同輩往右鄰接所有兄弟節(jié)點(diǎn)，同輩往左鄰接所有兄弟節(jié)點(diǎn)，直接子節(jié)點(diǎn)，所有子節(jié)點(diǎn)】
1）節(jié)點(diǎn)tag：類似javascript的元素-
訪問(wèn)元素：soup = BeautifulSoup(html_tag1,'lxml')tag1 = soup.a
訪問(wèn)元素的名字：tagname = tag1.name
訪問(wèn)元素的屬性:tag1['class']或tag1.attrs
修改元素的屬性訪問(wèn)：? tag['class'] = 'verybold'賦予多個(gè)屬性rel_soup.a['rel'] = ['index', 'contents']
是否有元素的屬性：tag1.has_attr('class')
獲取所有屬性：比如獲取a所有標(biāo)簽的鏈接，for link in soup.find_all('a'): print(link.get('href'))
獲取元素的內(nèi)容：soup.p.string .如果tag包含了多個(gè)子節(jié)點(diǎn),tag就無(wú)法確定 .string 方法應(yīng)該調(diào)用哪個(gè)子節(jié)點(diǎn)的內(nèi)容, .string 的輸出結(jié)果是 None.? 如果tag中包含多個(gè)字符串 [2] ,可以使用 .strings 來(lái)循環(huán)獲取.for string in soup.strings: print(repr(string))
獲取元素的內(nèi)容含編碼過(guò)的：head_tag.contents，#[u'Hello', u' there']
獲取元素帶標(biāo)簽的內(nèi)容：head_tag.NavigableString，#<b>Hello there.</b>
獲取元素帶注釋的內(nèi)容Comment：創(chuàng)建對(duì)象時(shí)用Comment，輸出對(duì)象時(shí)用soup.b.prettify()
獲取所有文字內(nèi)容:soup.get_text()
2）節(jié)點(diǎn)的家庭
訪問(wèn)直接子節(jié)點(diǎn)：.children()? 和.contents()
.children() 不返回文本節(jié)點(diǎn)，如果需要獲得包含文本和注釋節(jié)點(diǎn)在內(nèi)的所有子節(jié)點(diǎn)，請(qǐng)使用 .contents()。
遍歷所有子節(jié)點(diǎn)：.descendants
遍歷子節(jié)點(diǎn)的內(nèi)容：.strings 和.stripped_strings（去除空格或空行）
訪問(wèn)父節(jié)點(diǎn)：.parent
遍歷所有父節(jié)點(diǎn)：.parents
獲得匹配元素集合中所有元素的同輩元素：.next_siblings .previous_siblings
獲得匹配元素集合中的下或上一個(gè)同輩元素.next_element? .previous_element 屬性：
獲得匹配元素集合中的往后所有同輩或者往前所有元素：.next_elements? .previous_elements
D、遍歷DOM樹(shù)
可以通過(guò)方法或者css選擇器
方法：find_all( name , attrs , recursive , string, **kwargs )
參數(shù)：支持可以使用的參數(shù)值包括 字符串 , 正則表達(dá)式 , 列表, True，自定義包含一個(gè)參數(shù)的方法Lambda表達(dá)式（這個(gè)我放在正則表達(dá)式那篇文章了）。
如支持字符串soup.find_all('b')，正則表達(dá)式soup.find_all(re.compile("^b"))，列表soup.find_all(["a","b"])，True值如soup.find_all(True)，自定義包含一個(gè)參數(shù)的方法如soup.find_all(has_class_but_no_id)，而方法def has_class_but_no_id(tag): return tag.has_attr('class') and not tag.has_attr('id')。
name：是元素名，可以是一個(gè)元素find('head')，也可以是多個(gè)元素，多個(gè)元素可以用列表find(['a','b'])，字典find({'head':True, 'body':True})，或者lambda表達(dá)式find(lambda name: if len(name) == 1) 搜索長(zhǎng)度為1的元素，或者正則表達(dá)式匹配結(jié)果find(re.compile('^p'))來(lái)表示，find(True) 搜索所有元素
attrs：是元素屬性。
搜索指定名字的屬性時(shí)可以使用的參數(shù)值包括 字符串 , 正則表達(dá)式 , 列表, True?
按照屬性值搜索tag：一個(gè)屬性如find(id='xxx') ，soup.find_all("a", class_="sister"),soup.find_all("a", attrs={"class": "sister"})；也可以是多個(gè)屬性，比如正則表達(dá)式：find(attrs={id=re.compile('xxx'), p='xxx'})或者soup.find_all(class_=re.compile("itl"))，或者true方法：find(attrs={id=True, algin=None}),或者列表方法find_all(attrs={"data-foo": "value"})。
recursive和limit參數(shù)
recursive=False表示只搜索直接兒子，否則搜索整個(gè)子樹(shù)，默認(rèn)為True。當(dāng)使用findAll或者類似返回list的方法時(shí)，limit屬性用于限制返回的數(shù)量，如findAll('p', limit=2)： 返回首先找到的兩個(gè)tag.
soup.html.find_all("title", recursive=False)
string 參數(shù)
通過(guò) string參數(shù)可以搜搜文檔中的字符串內(nèi)容.與 name 參數(shù)的可選值一樣, text 參數(shù)接受 字符串 , 正則表達(dá)式 , 列表, 自定義方法，True.
soup.find_all(string="Elsie")#字符串
soup.find_all(string=["Tillie", "Elsie", "Lacie"]) )#列表
soup.find_all(string=re.compile("Dormouse"))#正則表達(dá)式
def is_the_only_string_within_a_tag(s): #方法
""Return True if this string is the only child of its parent tag.""
return (s == s.parent.string)
soup.find_all(string=is_the_only_string_within_a_tag)
關(guān)于Beautiful Soup樹(shù)的操作具體可以看官方文檔?
另外還有和find_all類似的方法：
find( name , attrs , recursive , text , **kwargs )
和find_all區(qū)別：返回第一個(gè)節(jié)點(diǎn)
find_parents()? find_parent()
find_next_siblings()? find_next_sibling()
find_previous_siblings()? find_previous_sibling()
find_all_next()? find_next()
find_all_previous() 和 find_previous()
除了find方法遍歷外，還有CSS選擇器
CSS選擇器：soup.select()
元素查找，比如元素名soup.select('a')，類名soup.select('.sister')，ID名.soupselect('#link1')或者soup.select("#link1,#link2")，組合查，比如soup.select('p #link1')，或者直接子元素選擇器soup.select("head > title")，所有子元素soup.select("body a")，篩選soup.select("p nth-of-type(3)")，soup.select("p > a:nth-of-type(2)")。
屬性查找soup.select('a[class="sister"]')，soup.select('p a[#link1 ~ .sister")，直接后面兄弟soup.select("#link1 + .sister")，soup.select('a[href*=".com/el"]')
查找到的元素的第一個(gè)soup.select_one(".sister")
E、修改DOM樹(shù)：
修改tag的名稱和屬性：tag.name = "blockquote" tag['class'] = 'verybold'
修改tag的內(nèi)容：.string tag = soup.a?? tag.string = "New link text."
添加節(jié)點(diǎn)內(nèi)容：append()或者NavigableString構(gòu)造對(duì)象，new_string構(gòu)造comment注釋
append()：soup.a.append("Bar")，輸出內(nèi)容時(shí)soup.a.contents，結(jié)果從"<a>Foo</a>變成<a>FooBar</a>"
NavigableString方法：new_string = NavigableString(" there") tag.append(new_string)
new_string構(gòu)造comment注釋：from bs4 import Comment new_comment = soup.new_string("Nice to see you.", Comment) tag.append(new_comment)
添加子節(jié)點(diǎn)：new_tag(),第一個(gè)參數(shù)作為tag的name,是必填,其它參數(shù)選填
soup = BeautifulSoup("<b></b>") original_tag = soup.b
new_tag = soup.new_tag("a", ) original_tag.append(new_tag)
#<b><a ></b>
插入子節(jié)點(diǎn)或內(nèi)容：Tag.insert(指定位置索引，節(jié)點(diǎn)或內(nèi)容)，Tag.insert_before(節(jié)點(diǎn)或內(nèi)容) 和 Tag.insert_after(節(jié)點(diǎn)或內(nèi)容)
tag = soup.p?
insert()：tag.insert(1, "but did not")#從"<p>haha<a href='www.baidu.com'>i like <i>fish</i></a></p>"變成"<p>haha but did not <a href='www.baidu.com'></p>"
insert_before()：如tag = soup.new_tag("i") tag.string = "Don't" soup.b.string.insert_before(tag)
insert_after()：如soup.b.i.insert_after(soup.new_string(" ever "))
刪除當(dāng)前節(jié)點(diǎn)內(nèi)容：tag = soup.a ? ?? tag.clear()
刪除當(dāng)前節(jié)點(diǎn)并返回刪除后的內(nèi)容：tag=soup.i.extract()，注意這個(gè)tag是新創(chuàng)建的，和dom樹(shù)soup有區(qū)別。
刪除當(dāng)前tag并完全銷毀，不會(huì)創(chuàng)建新的：soup.i.decompose()
刪除當(dāng)前節(jié)點(diǎn)并替換新的節(jié)點(diǎn)或內(nèi)容：a_tag = soup.a new_tag = soup.new_tag("b") new_tag.string = "example.net" a_tag.i.replace_with(new_tag)
對(duì)指定節(jié)點(diǎn)進(jìn)行包裝，添加標(biāo)簽如div：soup.p.wrap(soup.new_tag("div"))
刪除指定節(jié)點(diǎn)的標(biāo)簽如a標(biāo)簽：tag.a.unwrap()
打印DOM樹(shù)或DOM樹(shù)的節(jié)點(diǎn)：
含標(biāo)簽：soup.prettify() ,soup.p.prettify()? #<p>i will<p>
不含標(biāo)簽：unicode() 或 str() 方法:#i will
特殊字符如ldquo轉(zhuǎn)換成‘\’：soup = BeautifulSoup("“Dammit!” he said.") unicode(soup)
獲取本文內(nèi)容并以字符隔開(kāi)：get_text(隔開(kāi)字符可選填，去除空白符開(kāi)關(guān)可選填)，soup.get_text()，soup.get_text("|")如‘i like | fish’，soup.get_text("|", strip=True)
判斷節(jié)點(diǎn)內(nèi)容是否相同：first_b == second_b
判斷節(jié)點(diǎn)是否相同，即指向同一地址：first_b is second_b
判斷節(jié)點(diǎn)的類型是否是已知類型：isinstance(1, int)
復(fù)制節(jié)點(diǎn)：p_copy = copy.copy(soup.p)
F、Python3和Python2版本的Beautiful Soup區(qū)別：
G、Soup與Requests
附上可靠的網(wǎng)絡(luò)連接代碼：
把這段代碼
from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://www.pythonscraping.com/pages/page1.html")
bsObj = BeautifulSoup(html.read())
print(bsObj.h1)
改成以下代碼
from urllib.request import urlopen
from urllib.error import HTTPError
from bs4 import BeautifulSoup
??????? def getTitle(url):
?????? ? ? ? ? try:
???????????????????? html = urlopen(url)
??????? ? ? ? ? except HTTPError as e:
???????????????????? return None
?????????????? try:
???????????????????? bsObj = BeautifulSoup(html.read())
????????????????????? title = bsObj.body.h1
???????????? ?? except AttributeError as e:
????????????? ? ? ? ? return None
???????????? ?? return title
??????? title = getTitle("http://www.pythonscraping.com/pages/page1.html")
??????? if title == None:
??????????? print("Title could not be found")
??????? else:
???????????? print(title)
不過(guò)，最終選擇了xpath
