什么是XML

XML 指可擴(kuò)展標(biāo)記語(yǔ)言（EXtensible Markup Language）
XML 是一種標(biāo)記語(yǔ)言，很類似 HTML
XML 的設(shè)計(jì)宗旨是傳輸數(shù)據(jù)，而非顯示數(shù)據(jù)
XML 的標(biāo)簽需要我們自行定義。
XML 被設(shè)計(jì)為具有自我描述性。
XML 是 W3C 的推薦標(biāo)準(zhǔn)

W3School官方文檔：http://www.w3school.com.cn/xml/index.asp
XML 和 HTML 的區(qū)別

數(shù)據(jù)格式	描述	設(shè)計(jì)目標(biāo)
XML	Extensible Markup Language （可擴(kuò)展標(biāo)記語(yǔ)言）	被設(shè)計(jì)為傳輸和存儲(chǔ)數(shù)據(jù)，其焦點(diǎn)是數(shù)據(jù)的內(nèi)容。
HTML	HyperText Markup Language （超文本標(biāo)記語(yǔ)言）	顯示數(shù)據(jù)以及如何更好顯示數(shù)據(jù)。
HTML DOM	Document Object Model for HTML (文檔對(duì)象模型)	通過(guò) HTML DOM，可以訪問(wèn)所有的 HTML 元素，連同它們所包含的文本和屬性。可以對(duì)其中的內(nèi)容進(jìn)行修改和刪除，同時(shí)也可以創(chuàng)建新的元素。

XML文檔示例

<?xml version="1.0" encoding="utf-8"?>

<bookstore> 

  <book category="cooking"> 
    <title lang="en">Everyday Italian</title>  
    <author>Giada De Laurentiis</author>  
    <year>2005</year>  
    <price>30.00</price> 
  </book>  

  <book category="children"> 
    <title lang="en">Harry Potter</title>  
    <author>J K. Rowling</author>  
    <year>2005</year>  
    <price>29.99</price> 
  </book>  

  <book category="web"> 
    <title lang="en">XQuery Kick Start</title>  
    <author>James McGovern</author>  
    <author>Per Bothner</author>  
    <author>Kurt Cagle</author>  
    <author>James Linn</author>  
    <author>Vaidyanathan Nagarajan</author>  
    <year>2003</year>  
    <price>49.99</price> 
  </book> 

  <book category="web" cover="paperback"> 
    <title lang="en">Learning XML</title>  
    <author>Erik T. Ray</author>  
    <year>2003</year>  
    <price>39.95</price> 
  </book> 

</bookstore>

HTML DOM 模型示例

HTML DOM 定義了訪問(wèn)和操作 HTML 文檔的標(biāo)準(zhǔn)方法，以樹結(jié)構(gòu)方式表達(dá) HTML 文檔。

image.png

XML的節(jié)點(diǎn)關(guān)系

1. 父（Parent）

每個(gè)元素以及屬性都有一個(gè)父。

下面是一個(gè)簡(jiǎn)單的XML例子中，book 元素是 title、author、year 以及 price 元素的父：
<?xml version="1.0" encoding="utf-8"?>

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

2. 子（Children）
元素節(jié)點(diǎn)可有零個(gè)、一個(gè)或多個(gè)子。

在下面的例子中，title、author、year 以及 price 元素都是 book 元素的子：

 <?xml version="1.0" encoding="utf-8"?>

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

3. 同胞（Sibling）
擁有相同的父的節(jié)點(diǎn)

在下面的例子中，title、author、year 以及 price 元素都是同胞：

<?xml version="1.0" encoding="utf-8"?>

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

4. 先輩（Ancestor）
某節(jié)點(diǎn)的父、父的父，等等。

在下面的例子中，title 元素的先輩是 book 元素和 bookstore 元素：

<?xml version="1.0" encoding="utf-8"?>

<bookstore>

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

</bookstore>

5. 后代（Descendant）
某個(gè)節(jié)點(diǎn)的子，子的子，等等。

在下面的例子中，bookstore 的后代是 book、title、author、year 以及 price 元素：
<?xml version="1.0" encoding="utf-8"?>

<bookstore>

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

</bookstore>

什么是XPath？

XPath (XML Path Language) 是一門在 XML 文檔中查找信息的語(yǔ)言，可用來(lái)在 XML 文檔中對(duì)元素和屬性進(jìn)行遍歷。

W3School官方文檔：http://www.w3school.com.cn/xpath/index.asp

XPath 開發(fā)工具

開源的XPath表達(dá)式編輯工具:XMLQuire(XML格式文件可用)
Chrome插件 XPath Helper
Firefox插件 XPath Checker

選取節(jié)點(diǎn)

XPath 使用路徑表達(dá)式來(lái)選取 XML 文檔中的節(jié)點(diǎn)或者節(jié)點(diǎn)集。這些路徑表達(dá)式和我們?cè)诔Ｒ?guī)的電腦文件系統(tǒng)中看到的表達(dá)式非常相似。

下面列出了最常用的路徑表達(dá)式：

表達(dá)式	描述
nodename	選取此節(jié)點(diǎn)的所有子節(jié)點(diǎn)。
/	從根節(jié)點(diǎn)選取。
//	從匹配選擇的當(dāng)前節(jié)點(diǎn)選擇文檔中的節(jié)點(diǎn)，而不考慮它們的位置。
.	選取當(dāng)前節(jié)點(diǎn)。
..	選取當(dāng)前節(jié)點(diǎn)的父節(jié)點(diǎn)。
@	選取屬性。

在下面的表格中，我們已列出了一些路徑表達(dá)式以及表達(dá)式的結(jié)果：

路徑表達(dá)式	結(jié)果
bookstore	選取 bookstore 元素的所有子節(jié)點(diǎn)。
/bookstore	選取根元素 bookstore。注釋：假如路徑起始于正斜杠( / )，則此路徑始終代表到某元素的絕對(duì)路徑！
bookstore/book	選取屬于 bookstore 的子元素的所有 book 元素。
//book	選取所有 book 子元素，而不管它們?cè)谖臋n中的位置。
bookstore//book	選擇屬于 bookstore 元素的后代的所有 book 元素，而不管它們位于 bookstore 之下的什么位置。
//@lang	選取名為 lang 的所有屬性。

謂語(yǔ)（Predicates）

謂語(yǔ)用來(lái)查找某個(gè)特定的節(jié)點(diǎn)或者包含某個(gè)指定的值的節(jié)點(diǎn)，被嵌在方括號(hào)中。

在下面的表格中，我們列出了帶有謂語(yǔ)的一些路徑表達(dá)式，以及表達(dá)式的結(jié)果：

路徑表達(dá)式	結(jié)果
/bookstore/book[1]	選取屬于 bookstore 子元素的第一個(gè) book 元素。
/bookstore/book[last()]	選取屬于 bookstore 子元素的最后一個(gè) book 元素。
/bookstore/book[last()-1]	選取屬于 bookstore 子元素的倒數(shù)第二個(gè) book 元素。
/bookstore/book[position()<3]	選取最前面的兩個(gè)屬于 bookstore 元素的子元素的 book 元素。
//title[@lang]	選取所有擁有名為 lang 的屬性的 title 元素。
//title[@lang=’eng’]	選取所有 title 元素，且這些元素?fù)碛兄禐?eng 的 lang 屬性。
/bookstore/book[price>35.00]	選取 bookstore 元素的所有 book 元素，且其中的 price 元素的值須大于 35.00。
/bookstore/book[price>35.00]/title	選取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值須大于 35.00。

選取未知節(jié)點(diǎn)

通配符	描述
*	匹配任何元素節(jié)點(diǎn)。
@*	匹配任何屬性節(jié)點(diǎn)。
node()	匹配任何類型的節(jié)點(diǎn)。

XPath 通配符可用來(lái)選取未知的 XML 元素。

通配符	描述
*	匹配任何元素節(jié)點(diǎn)。
@*	匹配任何屬性節(jié)點(diǎn)。
node()	匹配任何類型的節(jié)點(diǎn)。

在下面的表格中，我們列出了一些路徑表達(dá)式，以及這些表達(dá)式的結(jié)果：

路徑表達(dá)式	結(jié)果
/bookstore/*	選取 bookstore 元素的所有子元素。
//*	選取文檔中的所有元素。
//title[@*]	選取所有帶有屬性的 title 元素。

選取若干路徑

通過(guò)在路徑表達(dá)式中使用“|”運(yùn)算符，您可以選取若干個(gè)路徑。

實(shí)例

在下面的表格中，我們列出了一些路徑表達(dá)式，以及這些表達(dá)式的結(jié)果

路徑表達(dá)式	結(jié)果
//book/title	//book/price	選取 book 元素的所有 title 和 price 元素。
//title	//price	選取文檔中的所有 title 和 price 元素。
/bookstore/book/title	//price	選取屬于 bookstore 元素的 book 元素的所有 title 元素，以及文檔中所有的 price 元素。

XPath的運(yùn)算符

下面列出了可用在 XPath 表達(dá)式中的運(yùn)算符：

image.png

這些就是XPath的語(yǔ)法內(nèi)容，在運(yùn)用到Python抓取時(shí)要先轉(zhuǎn)換為xml。

lxml庫(kù)

lxml 是一個(gè)HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 數(shù)據(jù)。

lxml和正則一樣，也是用 C 實(shí)現(xiàn)的，是一款高性能的 Python HTML/XML 解析器，我們可以利用之前學(xué)習(xí)的XPath語(yǔ)法，來(lái)快速的定位特定元素以及節(jié)點(diǎn)信息。

lxml python 官方文檔：http://lxml.de/index.html

需要安裝C語(yǔ)言庫(kù)，可使用 pip 安裝：pip install lxml （或通過(guò)wheel方式安裝）

初步使用

我們利用它來(lái)解析 HTML 代碼，簡(jiǎn)單示例：

  # lxml_test.py

  # 使用 lxml 的 etree 庫(kù)
  from lxml import etree 

  text = '''
  <div>
      <ul>
           <li class="item-0"><a href="link1.html">first item</a></li>
           <li class="item-1"><a href="link2.html">second item</a></li>
           <li class="item-inactive"><a href="link3.html">third item</a></li>
           <li class="item-1"><a href="link4.html">fourth item</a></li>
           <li class="item-0"><a href="link5.html">fifth item</a> # 注意，此處缺少一個(gè) </li> 閉合標(biāo)簽
       </ul>
   </div>
  '''

  #利用etree.HTML，將字符串解析為HTML文檔
  html = etree.HTML(text) 

  # 按字符串序列化HTML文檔
  result = etree.tostring(html) 

  print(result)

輸出結(jié)果：

  <html><body>
  <div>
      <ul>
           <li class="item-0"><a href="link1.html">first item</a></li>
           <li class="item-1"><a href="link2.html">second item</a></li>
           <li class="item-inactive"><a href="link3.html">third item</a></li>
           <li class="item-1"><a href="link4.html">fourth item</a></li>
           <li class="item-0"><a href="link5.html">fifth item</a></li>
  </ul>
   </div>
  </body></html>

lxml 可以自動(dòng)修正 html 代碼，例子里不僅補(bǔ)全了 li 標(biāo)簽，還添加了 body，html 標(biāo)簽。

文件讀取：

除了直接讀取字符串，lxml還支持從文件里讀取內(nèi)容。我們新建一個(gè)hello.html文件：

  <!-- hello.html -->

  <div>
      <ul>
           <li class="item-0"><a href="link1.html">first item</a></li>
           <li class="item-1"><a href="link2.html">second item</a></li>
           <li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>
           <li class="item-1"><a href="link4.html">fourth item</a></li>
           <li class="item-0"><a href="link5.html">fifth item</a></li>
       </ul>
   </div>

再利用 etree.parse() 方法來(lái)讀取文件。

  # lxml_parse.py

  from lxml import etree

  # 讀取外部文件 hello.html
  html = etree.parse('./hello.html')
  result = etree.tostring(html, pretty_print=True)

  print(result)

輸出結(jié)果與之前相同：

  <html><body>
  <div>
      <ul>
           <li class="item-0"><a href="link1.html">first item</a></li>
           <li class="item-1"><a href="link2.html">second item</a></li>
           <li class="item-inactive"><a href="link3.html">third item</a></li>
           <li class="item-1"><a href="link4.html">fourth item</a></li>
           <li class="item-0"><a href="link5.html">fifth item</a></li>
  </ul>
   </div>
  </body></html>

XPath實(shí)例測(cè)試

1. 獲取所有的 <li> 標(biāo)簽

  # xpath_li.py

  from lxml import etree

  html = etree.parse('hello.html')
  print type(html)  # 顯示etree.parse() 返回類型

  result = html.xpath('//li')

  print result  # 打印<li>標(biāo)簽的元素集合
  print len(result)
  print type(result)
  print type(result[0])

輸出結(jié)果

  <type 'lxml.etree._ElementTree'>
  [<Element li at 0x1014e0e18>, <Element li at 0x1014e0ef0>, <Element li at 0x1014e0f38>, <Element li at 0x1014e0f80>, <Element li at 0x1014e0fc8>]
  5
  <type 'list'>
  <type 'lxml.etree._Element'>

2. 繼續(xù)獲取<li> 標(biāo)簽的所有 class屬性

    # xpath_li.py

  from lxml import etree

  html = etree.parse('hello.html')
  result = html.xpath('//li/@class')

  print result

運(yùn)行結(jié)果

  ['item-0', 'item-1', 'item-inactive', 'item-1', 'item-0']

3. 繼續(xù)獲取<li>標(biāo)簽下hre 為 link1.html 的 <a> 標(biāo)簽

  # xpath_li.py

  from lxml import etree

  html = etree.parse('hello.html')
  result = html.xpath('//li/a[@href="link1.html"]')

  print result

運(yùn)行結(jié)果：

      [<Element a at 0x10ffaae18>]

4. 獲取<li> 標(biāo)簽下的所有 <span> 標(biāo)簽

  # xpath_li.py

  from lxml import etree

  html = etree.parse('hello.html')

  #result = html.xpath('//li/span')
  #注意這么寫是不對(duì)的：
  #因?yàn)?/ 是用來(lái)獲取子元素的，而 <span> 并不是 <li> 的子元素，所以，要用雙斜杠

  result = html.xpath('//li//span')

  print result

運(yùn)行結(jié)果：

  [<Element span at 0x10d698e18>]

5. 獲取 <li> 標(biāo)簽下的<a>標(biāo)簽里的所有 class

  # xpath_li.py

  from lxml import etree

  html = etree.parse('hello.html')
  result = html.xpath('//li/a//@class')

  print result

運(yùn)行結(jié)果：

    ['blod']

6. 獲取最后一個(gè) <li> 的 <a> 的 href

    # xpath_li.py

  from lxml import etree

  html = etree.parse('hello.html')

  result = html.xpath('//li[last()]/a/@href')
  # 謂語(yǔ) [last()] 可以找到最后一個(gè)元素

  print result

7. 獲取倒數(shù)第二個(gè)元素的內(nèi)容

  # xpath_li.py

  from lxml import etree

  html = etree.parse('hello.html')
  result = html.xpath('//li[last()-1]/a')

  # text 方法可以獲取元素內(nèi)容
  print result[0].text

運(yùn)行結(jié)果

    fourth item

8. 獲取 class 值為 bold 的標(biāo)簽名

    # xpath_li.py

  from lxml import etree

  html = etree.parse('hello.html')

  result = html.xpath('//*[@class="bold"]')

  # tag方法可以獲取標(biāo)簽名
  print result[0].tag

運(yùn)行結(jié)果：

  span

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

爬蟲系列（九）XML和Xpath

爬蟲系列（九）XML和Xpath

什么是XML

XML的節(jié)點(diǎn)關(guān)系

什么是XPath？

XPath 開發(fā)工具

選取節(jié)點(diǎn)

謂語(yǔ)（Predicates）

選取未知節(jié)點(diǎn)

選取若干路徑

XPath的運(yùn)算符

lxml庫(kù)

初步使用

文件讀取：

XPath實(shí)例測(cè)試

1. 獲取所有的 <li> 標(biāo)簽

2. 繼續(xù)獲取<li> 標(biāo)簽的所有 class屬性

3. 繼續(xù)獲取<li>標(biāo)簽下hre 為 link1.html 的 <a> 標(biāo)簽

4. 獲取<li> 標(biāo)簽下的所有 <span> 標(biāo)簽

5. 獲取 <li> 標(biāo)簽下的<a>標(biāo)簽里的所有 class

6. 獲取最后一個(gè) <li> 的 <a> 的 href

7. 獲取倒數(shù)第二個(gè)元素的內(nèi)容

8. 獲取 class 值為 bold 的標(biāo)簽名

推薦閱讀更多精彩內(nèi)容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美 国产 综合 欧美 视频

爬蟲系列（九）XML和Xpath

什么是XML

XML的節(jié)點(diǎn)關(guān)系

什么是XPath？

XPath 開發(fā)工具

選取節(jié)點(diǎn)

謂語(yǔ)（Predicates）

選取未知節(jié)點(diǎn)

選取若干路徑

XPath的運(yùn)算符

lxml庫(kù)

初步使用

文件讀取：

XPath實(shí)例測(cè)試

1. 獲取所有的 <li> 標(biāo)簽

2. 繼續(xù)獲取<li> 標(biāo)簽的所有 class屬性

3. 繼續(xù)獲取<li>標(biāo)簽下hre 為 link1.html 的 <a> 標(biāo)簽

4. 獲取<li> 標(biāo)簽下的所有 <span> 標(biāo)簽

5. 獲取 <li> 標(biāo)簽下的<a>標(biāo)簽里的所有 class

6. 獲取最后一個(gè) <li> 的 <a> 的 href

7. 獲取倒數(shù)第二個(gè)元素的內(nèi)容

8. 獲取 class 值為 bold 的標(biāo)簽名

推薦閱讀更多精彩內(nèi)容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频