作者本機(jī)環(huán)境：
系統(tǒng)-windows10
編程語言-Python
Python版本-Python3.6.8
解析工具-Xpath（解析工具不唯一，均可，這里只演示xpath）
編寫工具-Pycharm
本內(nèi)容使用Python語言進(jìn)行編寫，而Python也是編寫爬蟲比較好的一款編程語言，小白可以快速入門，語法比其他編程語言稍簡(jiǎn)單一些，那么這里使用的Python面向?qū)ο笕懙倪@么一個(gè)爬蟲文件，對(duì)天眼查網(wǎng)站進(jìn)行爬取，頁面經(jīng)過分析是靜態(tài)網(wǎng)頁，內(nèi)容抓取相對(duì)動(dòng)態(tài)網(wǎng)站要簡(jiǎn)單的多；直接是按照這樣一個(gè)思路來寫代碼，分析出不同頁面的url進(jìn)行分頁處理，而拿到的列表頁要對(duì)其每一個(gè)詳情的url進(jìn)行提取，提取到之后使用詳情url發(fā)起請(qǐng)求抓取詳情頁面。
在這里補(bǔ)充一點(diǎn)，我使用的是Python3.6.8，而大家可以根據(jù)自己的情況去選擇，這里是使用的普通爬蟲requests進(jìn)行爬取，那么Python還有強(qiáng)大的第三方庫Scrapy框架，能夠達(dá)到更高效，并且在RedisSpider的延伸中對(duì)于爬取到的數(shù)據(jù)存儲(chǔ)速度上非?？欤?yàn)閞edis數(shù)據(jù)庫是基于內(nèi)存進(jìn)行存儲(chǔ)數(shù)據(jù)的，更是有一個(gè)可以去重的這樣一個(gè)功能；而scrapy內(nèi)部的去重原理在源碼中是有一個(gè)set集合進(jìn)行去重的，了解Python的肯定對(duì)這點(diǎn)不陌生——set集合去重
import requests
from lxml import etree
class TianYanCha():
def __init__(self, url):
self.url = url
# 請(qǐng)求頭
self.headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36",
"Cookie": "aliyungf_tc=AQAAAL9zfjMqLAQAGpXaG0rH+SQSMyir; csrfToken=D4W5eHOZUdVKKtVN8B5RcWil; jsid=SEM-BAIDU-PZ2003-VI-000001; TYCID=ee9c15b0727811eabdfbb3a9464b1d4e; undefined=ee9c15b0727811eabdfbb3a9464b1d4e; ssuid=7522613240; bannerFlag=false; _ga=GA1.2.2024087523.1585567433; _gid=GA1.2.1441861791.1585567433; Hm_lvt_e92c8d65d92d534b0fc290df538b4758=1585567432,1585568902; refresh_page=0; RTYCID=06e1215159ed40e9b936441fe8b79c12; token=9b83740966314eef9746e9fee609fd9a; _utm=8c3b6195c8d347ccab2335d8abd7a664; CT_TYCID=25b749040e3a45c98de53deb2d0d8104; cloud_token=9d4a9eb888e64a1bb4da17049cf08014; Hm_lpvt_e92c8d65d92d534b0fc290df538b4758=1585571475; _gat_gtag_UA_123487620_1=1",
"Content-Type": "application/json; charset=UTF-8",
"Accept-Encoding": "gzip, deflate, br",
}
self.item_list = {} # 存儲(chǔ)隊(duì)列
def zhixing(self):
self.response = requests.get(url=self.url, headers=self.headers).text # 起始URL
# print(self.response)
self.fen1 = etree.HTML(self.response)
self.datas1 = self.fen1.xpath(
'//div[@class="search-result-single "]/div[@class="content"]/div[@class="header"]/a/@href')
# print(self.datas1) # 詳情頁url
for self.dataaa in self.datas1:
self.urls = self.dataaa # 詳情頁url地址
# print(self.urls)
def xiang_qing(self):
import time
time.sleep(1)
self.response_content = requests.get(url=self.urls, headers=self.headers).text
self.datalist = etree.HTML(self.response_content)
self.datas = self.datalist.xpath('//div[@class="box -company-box "]')
# 公司數(shù)據(jù)
for self.data in self.datas:
self.item_list["公司名稱"] = self.data.xpath('./div[@class="content"]/div[@class="header"]/h1/text()')
self.item_list['注冊(cè)資本'] = self.data.xpath(
'//*[@id="_container_baseInfo"]/table[2]/tbody/tr[1]/td[2]/div/text()')
self.item_list['成立日期'] = self.data.xpath(
'//*[@id="_container_baseInfo"]/table[2]/tbody/tr[2]/td[2]/div/text()')
self.item_list['行業(yè)'] = self.data.xpath('//*[@id="_container_baseInfo"]/table[2]/tbody/tr[5]/td[4]/text()')
self.item_list['注冊(cè)地址 '] = self.data.xpath(
'//*[@id="_container_baseInfo"]/table[2]/tbody/tr[10]/td[2]/text()')
self.item_list['經(jīng)營范圍'] = self.data.xpath(
'//*[@id="_container_baseInfo"]/table[2]/tbody/tr[11]/td[2]/span/text()')
self.item_list['法定代表人'] = self.data.xpath(
'//*[@id="_container_baseInfo"]/table[1]/tbody/tr[1]/td[1]/div/div[1]/div[2]/div[1]/a/@title')
print(self.item_list)
if __name__ == '__main__':
for i in range(1,100):
url = "https://www.tianyancha.com/search/p"+str(i)+"?key=%E5%9B%BD%E5%AE%B6%E7%94%B5%E7%BD%91" # 分頁
tianyancha = TianYanCha(url)
tianyancha.zhixing()
tianyancha.xiang_qing()
