首先安裝requests lxml庫
pip3 install requests lxml
然后開始
#! /usr/bin/env python3
# -*- coding: utf-8 -*-
import requests
from lxml import etree
if __name__ == "__main__":
"""requests lxml"""
url = "http://www.lxweimin.com/u/28c8a26a6d75" # 我的主頁
return_data = requests.get(url)
html_data = etree.HTML(return_data.text)
//這里我只取出auth， title， abs
result_data = html_data.xpath('//div[@class="content"]') # 里面這個表達式可是這樣獲得
# 頁面F12 選中你要的部分右鍵 Copy -> Copy XPath (Firefox or Chrome 應該都可以)
for result in result_data：
# 這里簡單的打印下
print(result.xpath('.//text()'))
結果：
['\n ', '\n ', '\n ', '\n', ' ', '\n ', 'single430', '\n ', '\n ', '\n ', '\n ', '“人民的名義” 之 《天局》原文', '\n ', '\n 《天局》是作家矯健創作的短篇小說，收錄于《矯健中短篇小說集》中。 《天局》西莊有個棋癡，人都稱他混沌。他對萬事模糊，惟獨精通圍棋。他走路跌跌斜斜，據說是踩著棋格走，步步都是絕...\n ', '\n ', '\n ', '\n ', ' 0\n', ' ', '\n ', ' 0\n', ' ', ' 0', '\n ', '\n ']
['\n ', '\n ', '\n ', '\n', ' ', '\n ', 'single430', '\n ', '\n ', '\n ', '\n ', 'MQTT，RabbitMQ初步使用 - Ubuntu', '\n ', '\n MQTT 使用源碼安裝 其中會需要一些依賴(編譯過程找不到) 接下來就可以進行測試了 之后分別運行兩個py文件就可以收到數據了 RabbitMQ 安裝RabbitMQ服務su...\n ', '\n ', '\n ', '\n ', ' 121\n', ' ', '\n ', ' 0\n', ' ', ' 2', '\n ', '\n ']
['\n ', '\n ', '\n ', '\n', ' ', '\n ', 'single430', '\n ', '\n ', '\n ', '\n ', 'Ubuntu下 supervisor 初步使用', '\n ', '\n 第一步 sudo apt-get install supervisor 第二步 sudo touch /etc/supervisor/conf.d/myproject.con...\n ', '\n ', '\n ', '\n ', ' 29\n', ' ', '\n ', ' 2\n', ' ', ' 2', '\n ', '\n ']
['\n ', '\n ', '\n ', '\n', ' ', '\n ', 'single430', '\n ', '\n ', '\n ', '\n ', 'Linux下 tftp服務搭建', '\n ', '\n 第一步 sudo apt install tftp-hpa tftpd-hpa xinetd 第二步 新建 /etc/xinetd.d/tftpd 內容為: se...\n ', '\n ', '\n ', '\n ', ' 23\n', ' ', '\n ', ' 0\n', ' ', ' 1', '\n ', '\n ']
['\n ', '\n ', '\n ', '\n', ' ', '\n ', 'single430', '\n ', '\n ', '\n ', '\n ', '微信, 支付寶掃碼支付總結', '\n ', '\n 好不容易折騰微信和支付寶的開發文檔才搞出來的 一： 支付寶掃碼支付 上面就是支付寶掃碼支付，如果成功會返回二維碼鏈接，只需調用庫生成二維碼就可以。 字典排序函數 微信掃碼支付...\n ', '\n ', '\n ', '\n ', ' 47\n', ' ', '\n ', ' 0\n', ' ', ' 2', '\n ', '\n ']
['\n ', '\n ', '\n ', '\n', ' ', '\n ', 'single430', '\n ', '\n ', '\n ', '\n ', 'pip 豆瓣源 Linux or Win7 And 雜項記錄', '\n ', '\n Linux修改 /home/xxx/.pip/pip.conf 如果沒有就新建[global]index-url = https://pypi.doubanio.com...\n ', '\n ', '\n ', '\n ', ' 3\n', ' ', '\n ', ' 0\n', ' ', ' 1', '\n ', '\n ']
['\n ', '\n ', '\n ', '\n', ' ', '\n ', 'single430', '\n ', '\n ', '\n ', '\n ', '一個殘疾姑娘說的一句話', '\n ', '\n 她說：每個人都是上帝咬過的一個蘋果，只是自己這個蘋果看起來更美味，上帝就咬了一大口。 我一直覺得其實我們每個人都是殘疾人，就比如我，近視400度，摘下眼鏡，我還能看清什么嗎？\n ', '\n ', '\n ', '\n ', ' 3\n', ' ', '\n ', ' 0\n', ' ', ' 0', '\n ', '\n ']
['\n ', '\n ', '\n ', '\n', ' ', '\n ', 'single430', '\n ', '\n ', '\n ', '\n ', 'Django + nginx + uwsgi 部署（linux）', '\n ', '\n 首先確保你的系統有安裝django，uwsgi，nginx，具體如何安裝網上的教程一大把，這里我就寫幾個自己遇到的問題 * 首先 在測試uwsgi是否工作是我們都會寫一個xx...\n ', '\n ', '\n ', '\n ', ' 61\n', ' ', '\n ', ' 4\n', ' ', ' 2', '\n ', '\n ']
簡單的寫了一下，不過我相信大家應該很聰明
這個是requests庫的地址 http://docs.python-requests.org/en/master/
By:single430
