在上一篇文章python新手實踐1——使用scrapy爬取dmoz目錄實踐過后,得到了一個json文件,本文主要講解如何將json文件轉化為更直觀的Excel文件。
之前通過scrapy我們獲得了一個json文件,如下圖。
json源文件
可以看到,在這個文檔中,所需的三種信息都有,但是看起來很費勁,所以我們要把有用信息提取成為一個Excel表格,方便閱覽。
1、 先將desc中的文字進行整理,將空格去掉
修改spider中關于desc的描述
item['desc'] = (site.xpath('div/text()').extract()[0]).strip()
#site.xpath返回的是一個列表,其中第零項是描述部分,strip()用于刪除字符串前后的空格。
重新生成json文件
整理完成
整理完成
2、 使用openpyxl模塊進行Excel操作
安裝openpyxl模塊
3、 打開json文件,將其寫入py文件中
import json
with open("C:/Users/Administrator/Desktop/SpiderNO1/items.json",'r') as load_f:
load_dict = json.load(load_f)
print(load_dict)
可以看到json文件被導入為列表,列表的每一個元素是一個字典,內存儲著我們需要的信息。
4、建立空白Excel文件
import openpyxl #導入openpyxl模塊
wb = openpyxl.Workbook() #新建工作簿
wb.save('excel.xlsx') #保存文件
生成空白的xlsx文件
可以看到在python的根目錄下生成了名為'excel.xlsx'的表格文件
5、填充表格
單元格賦值:
sheet['A1'] = 'Title'
sheet['B1'] = 'Link'
sheet['C1'] = 'Description'
循環填充下方的單元格
for each in range(len(load_dict)):
sheet['A' + str(each+2)] = str(load_dict[each]['title'])
sheet['B' + str(each+2)] = str(load_dict[each]['link'])
sheet['C' + str(each+2)] = str(load_dict[each]['desc'])
6、美化表格
sheet.column_dimensions['A'].width = 50 #列寬設置
sheet.column_dimensions['B'].width = 75
sheet.column_dimensions['C'].width = 200
生成的表格:
生成結果
美觀大方 OK!
也可以將其直接寫入spider中,達到的效果是相同的。
代碼清單:
import openpyxl
import json
wb = openpyxl.Workbook()
sheet = wb.get_active_sheet()
sheet.column_dimensions['A'].width = 50
sheet.column_dimensions['B'].width = 75
sheet.column_dimensions['C'].width = 200
sheet['A1'] = 'Title'
sheet['B1'] = 'Link'
sheet['C1'] = 'Description'
with open("C:/Users/Administrator/Desktop/SpiderNO1/items.json",'r') as load_f:
load_dict = json.load(load_f)
for each in range(len(load_dict)):
sheet['A' + str(each+2)] = str(load_dict[each]['title'])
sheet['B' + str(each+2)] = str(load_dict[each]['link'])
sheet['C' + str(each+2)] = str(load_dict[each]['desc'])
wb.save('excel.xlsx')
本博客所有文章均為作者原創,享有版權所有權,未經許可,嚴禁轉載或修改!