今晚，被煩死了。9點(diǎn)多才下班，就想回來(lái)看書學(xué)習(xí)，結(jié)果被嘮叨嘮叨個(gè)小時(shí)，我不斷喊不要和我聊天了，還反復(fù)說(shuō)。我只想安安靜靜看看書，學(xué)習(xí)學(xué)習(xí)，全世界都不要打擾我
接著上一個(gè)討論，我們今晚要分析HTML結(jié)構(gòu)了
1.獲取元素
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, "lxml")
# 直接訪問(wèn)head元素
print(soup.head)
# 多個(gè)a元素只會(huì)返回第一個(gè)
print(soup.a)
# 通過(guò)層級(jí)獲取 注意：上面沒(méi)有body，soup會(huì)自動(dòng)補(bǔ)全
print(soup.body.p)
# 獲取所有a，返回a的數(shù)組
print(soup.find_all('a'))
2.獲取內(nèi)容和子元素
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, "lxml")
head_tag = soup.head
# 通過(guò)列表輸出文檔元素
print(head_tag.contents)
title_tag = head_tag.contents[1]
print('---------------------------')
print(title_tag)
print('---------------------------')
print(title_tag.contents)
print('---------------------------')
# BeautifulSoup 對(duì)象本身一定會(huì)包含子節(jié)點(diǎn),也就是說(shuō)標(biāo)簽也是 BeautifulSoup 對(duì)象的子節(jié)點(diǎn):
print(len(soup.contents))
print(soup.contents[0].name)
print('---------------------------')
# 通過(guò)tag的 .children 生成器,可以對(duì)tag的子節(jié)點(diǎn)進(jìn)行循環(huán)
#title_tag.children是The Dormouse's story
for child in title_tag.children:
print(child)
# 字符串沒(méi)有 .contents 屬性,因?yàn)樽址疀](méi)有子節(jié)點(diǎn):
print('---------------------------')
text = title_tag.contents[0]
print(text.contents) #直接報(bào)錯(cuò) ：AttributeError: 'NavigableString' object has no attribute 'contents'
3.跨級(jí)獲取子節(jié)點(diǎn)
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, "lxml")
head_tag = soup.head
# 遞歸獲取所有子節(jié)點(diǎn)
for child in head_tag.descendants:
print('-----------------------')
print(child)
# 直接子節(jié)點(diǎn)
print(len(list(soup.children)))
# 跨級(jí)子節(jié)點(diǎn)：包括換行符 都算成了子節(jié)點(diǎn)。在使用的過(guò)程中，一定要注意判空
print(len(list(soup.descendants)))
4.string字符串
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, "lxml")
head_tag = soup.head
# title_tag.string是title標(biāo)簽的子節(jié)點(diǎn)。即便是純粹的string 這個(gè)就是 NavigableString
# print(title_tag.string)
# 如果一個(gè)tag僅有一個(gè)子節(jié)點(diǎn),那么這個(gè)tag也可以使用 .string 方法,輸出結(jié)果與當(dāng)前唯一子節(jié)點(diǎn)的 .string 結(jié)果相同:
print(head_tag.contents)
# 如果tag包含了多個(gè)子節(jié)點(diǎn),tag就無(wú)法確定 .string 方法應(yīng)該調(diào)用哪個(gè)子節(jié)點(diǎn)的內(nèi)容, .string 的輸出結(jié)果是 None :
print(soup.html.string)
5.遍歷字符串和去除空白字符
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, "lxml")
# 如果tag中包含多個(gè)字符串 [2] ,可以使用 .strings 來(lái)循環(huán)獲取:
# for string in soup.strings:
# print(repr(string))
# 輸出的字符串中可能包含了很多空格或空行, 使用.stripped_strings
# 可以去除多余空白內(nèi)容:
for string in soup.stripped_strings:
print(repr(string))
去除空白字符
6.父節(jié)點(diǎn)
每個(gè)節(jié)點(diǎn)都有自己的父節(jié)點(diǎn)。除了第一個(gè)
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, "lxml")
title_tag = soup.title
print('1.-------------------')
print(title_tag)
print('2.-------------------')
print(title_tag.parent)
print('3.-------------------')
# 文檔title的字符串也有父節(jié)點(diǎn):標(biāo)簽
print(title_tag.string.parent)
print('4.-------------------')
# 文檔的頂層節(jié)點(diǎn)比如的父節(jié)點(diǎn)是 BeautifulSoup 對(duì)象:
html_tag = soup.html
print(type(html_tag.parent))
print('5.-------------------')
# BeautifulSoup 對(duì)象的 .parent 是None:
print(soup.parent)
遍歷所有父節(jié)點(diǎn)：
soup = BeautifulSoup(html_doc, "lxml")
link = soup.a
for parent in link.parents:
if parent is None:
print(parent)
else:
print(parent.name)
7.兄弟節(jié)點(diǎn)
同一個(gè)級(jí)別的節(jié)點(diǎn)查找
sibling_soup = BeautifulSoup("text1text2", "lxml")
# b后面一個(gè)兄弟節(jié)點(diǎn)
print(sibling_soup.b.next_sibling)
# c前面一個(gè)兄弟節(jié)點(diǎn)
print(sibling_soup.c.previous_sibling)
# 同一節(jié)點(diǎn)沒(méi)有前一個(gè)
print(sibling_soup.b.previous_sibling)
# 同一節(jié)點(diǎn)沒(méi)有最后一個(gè)
print(sibling_soup.c.next_sibling)
獲取前后所有的兄弟節(jié)點(diǎn)
注意：這些節(jié)點(diǎn)包括字符串和符號(hào)
soup = BeautifulSoup(html_doc, "lxml")
for sibling in soup.a.next_siblings:
print('--------------------------')
print(repr(sibling))
for sibling in soup.find(id="link3").previous_siblings:
print('******************************')
print(repr(sibling))
8.回退和前進(jìn)
注意看next_sibling和next_element的差別
soup = BeautifulSoup(html_doc, "lxml")
last_a_tag = soup.find("a", id="link3")
# 是指link3之后的內(nèi)容
print(last_a_tag.next_sibling)
print('----------------------')
# 是指link3內(nèi)部之后的內(nèi)容
print(last_a_tag.next_element)
print(last_a_tag.next_element.next_element)
soup = BeautifulSoup(html_doc, "lxml")
last_a_tag = soup.find("a", id="link3")
#next_elements和previous_elements 會(huì)訪問(wèn)當(dāng)前節(jié)點(diǎn)內(nèi)部往后和外部往后的所有內(nèi)容。內(nèi)部往后優(yōu)先
for element in last_a_tag.next_elements:
print(repr(element))
還有一節(jié)，培訓(xùn)新手的文檔就結(jié)束了。真心希望同學(xué)們要好好學(xué)習(xí)，不然我白講。 不下班回家陪我的小公舉，卻來(lái)義務(wù)教你寫代碼，而且是從零開(kāi)始手把手教。兄弟們要加油啊
