這篇博文的靈感來自于EdvardHua，因?yàn)榭吹皆摯笈Ｗ髡哂肦進(jìn)行分析數(shù)據(jù)挖掘崗位的相關(guān)信息。但是作為對(duì)R不是很熟悉的人來說，理解起來甚是困難，同時(shí)我也對(duì)其數(shù)據(jù)集進(jìn)行進(jìn)一步的優(yōu)化，使得該靈感可以更加完美的運(yùn)用在Python之中，其實(shí)這篇博文也說明現(xiàn)在的數(shù)據(jù)挖掘崗位的兩種主流語言，一個(gè)是R語言另外一個(gè)則是Python。
接下來我們就用以Python的角度進(jìn)行數(shù)據(jù)挖掘崗位的分析，在這里我主要使用了使用了pycharm IDE。而且使用的庫主要為pandas，matplotlib以及seaborn，文件打開器EmEditor(一個(gè)超大文本極速打開的神器)
??言歸正傳，首先我們先對(duì)原數(shù)據(jù)集名為“position_after_cleaning”文件進(jìn)行處理。因?yàn)檫@個(gè)CSV文件把所有的內(nèi)容都寫入到一行之中了。這個(gè)對(duì)調(diào)用pandas進(jìn)行處理有點(diǎn)不方便，所以我首先拿它開刀。將其按照Title以一種標(biāo)準(zhǔn)的格式存入到CSV文件中。
??接下來我們便通過Python對(duì)原始數(shù)據(jù)集進(jìn)行處理從而得到我們想要的數(shù)據(jù)格式，代碼如下所示：
# -*- coding: UTF-8 -*-
import pandas as pd
filename = 'C:/Users/john/Desktop/JobRequirementAnalysis-master/cache/position_after_cleaning.csv'
outputfile = 'C:/Users/john/Desktop/JobRequirementAnalysis-master/cache/position_final.csv'
# data = pd.read_csv(filename,encoding='utf8',header=None)
# print(data)
content = []
data = open(filename, encoding='utf8')
for i in data.readlines():
i = i.strip().split(' ')
content.append(i)
final = {}
positionId = []
city = []
industyField = []
companyShortName = []
companySize = []
financeStage = []
education = []
workYear = []
positionName = []
salary = []
requirement = []
for content_one_by_one in content:
positionId.append(content_one_by_one[0].replace('"', ''))
city.append(content_one_by_one[1].replace('"', ''))
industyField.append(content_one_by_one[2].replace('"', ''))
companyShortName.append(content_one_by_one[3].replace('"', ''))
companySize.append(content_one_by_one[4].replace('"', ''))
financeStage.append(content_one_by_one[5].replace('"', ''))
education.append(content_one_by_one[6].replace('"', ''))
workYear.append(content_one_by_one[7].replace('"', ''))
positionName.append(content_one_by_one[8].replace('"', ''))
salary.append(content_one_by_one[9].replace('"', ''))
requirement.append(content_one_by_one[10].replace('"', ''))
final = {'positionId': positionId, 'city': city, 'industyField': industyField, 'companyShortName': companyShortName,
'companySize': companySize, 'financeStage': financeStage, 'education': education, 'workYear': workYear,
'positionName': positionName, 'salary': salary, 'requirement': requirement}
frame = pd.DataFrame(final)
frame.to_csv(outputfile,encoding='utf8')
以上便是處理流程，但是由于本人水平有限，沒有想好如何進(jìn)行代碼精簡(jiǎn)。所以我們?cè)谶@里才看到如此之多的代碼重復(fù)。還希望有大神可以幫助解決這一問題。
??這樣再進(jìn)行觀察我們的數(shù)據(jù)是不是感覺舒爽了許多。（PS：典型的強(qiáng)迫癥患者）接下來我們就可以很愉快的進(jìn)行文本分析操作了。首先我拿到這樣的數(shù)據(jù)集，最想要做的事情就是知道哪個(gè)城市擁有的數(shù)據(jù)挖掘崗位最多。。畢竟我們?nèi)绻辣本?shù)據(jù)挖掘崗位最多，我們不能還任性的跑到西藏去找工作吧。這就有點(diǎn)隨心所欲，我驕傲的感覺了吧。
??處理流程是這樣的：首先我需要先統(tǒng)計(jì)在'city'這一列中共有多少個(gè)不同的城市，并且每個(gè)城市出現(xiàn)了多少次。每一次的出現(xiàn)都代表了該城市都有一個(gè)職位，出現(xiàn)多少次就代表有多少職位在等待（我的Job在未來的某個(gè)地方等著我，永遠(yuǎn)在等待），然后繪制出來直方圖更形象的展示出來。
# -*- coding: UTF-8 -*-
import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
import chardet
import sys
sns.set_style('whitegrid',{'font.sans-serif':['simhei','Arial']})
filename = 'C:/Users/john/Desktop/JobRequirementAnalysis-master/cache/position_final.csv'
data = pd.read_csv(filename)
# print(data['city'].unique())
# print(data[data['city']=='北京'].shape[0])
city_name = data['city'].unique()
city_job_count = []
for name in city_name:
city_job_count.append(data[data['city'] == name].shape[0])
print(city_name)
print(city_job_count)
city_info = dict(zip(city_name, city_job_count))
# print(city_info)
frame = pd.DataFrame([city_info])
plt.figure(figsize=(10,10))
sns.barplot(city_name,city_job_count)
plt.show()
輸出臺(tái)顯示如下所示：
??圖表顯示如下：
??通過分析可知北京，上海，深圳，廣州，杭州是數(shù)據(jù)挖掘崗位的集中地。這很符合實(shí)際情況。這也表明如果我們想找到理想的工作也只能去這些地方嘍。
??但是知道這些公司的分布之后我們同樣需要知道這些公司的水平如何，因?yàn)槿绻粋€(gè)小賣部招收數(shù)據(jù)挖掘崗位你也去嗎？?。。?br>
??話又說回來了。如何評(píng)判一個(gè)公司好不好。在這里主要通過其公司規(guī)模大小來評(píng)判。譬如該公司是上市公司。。那總不能差到哪去吧。
company_financeStage_name=data['financeStage'].unique()
company_financeStage_count=[]
for name in company_financeStage_name:
company_financeStage_count.append(data[data['financeStage']==name].shape[0])
plt.figure(figsize=(10,10))
# sns.barplot(company_financeStage_name,company_financeStage_count)
# plt.show()
# print(company_financeStage_name)
# sns.factorplot(x='city',kind='count',data=data,col='financeStage')
sns.barplot(company_financeStage_name,company_financeStage_count)
plt.show()
然后我們得到這樣一張圖表：
??通過分析可知，數(shù)據(jù)挖掘?qū)I(yè)的技術(shù)含量還是很高的。因?yàn)榭梢悦黠@看到上市公司對(duì)數(shù)據(jù)挖掘崗位的需求量明顯更大。在得到該圖表之后我們?cè)賹?duì)工資分布做一下分析。
company_financeStage_name=data['financeStage'].unique()
company_financeStage_count=[]
for name in company_financeStage_name:
company_financeStage_count.append(data[data['financeStage']==name].shape[0])
plt.figure(figsize=(20,20))
sns.factorplot(x='financeStage',kind='count',data=data,col='salary',col_wrap=2,legend=True)
plt.show()
最終我們得到這樣一張圖：
通過這張圖可以得知：
1.上市公司薪水一般在21—30K
2.成熟型公司薪水一般在26-30K
??簡(jiǎn)單的說,數(shù)據(jù)挖掘崗位的福利待遇還是相當(dāng)好的。但是這個(gè)并不能反映出學(xué)歷對(duì)其的影響，接下來我們來看一下學(xué)歷是否對(duì)薪水有影響。
??從圖表中我們可以看出，工作3-5年無論在哪個(gè)階段薪水都比較高，同時(shí)我們也可以看不出應(yīng)屆畢業(yè)生現(xiàn)在在社會(huì)上的尷尬地位?，F(xiàn)在已經(jīng)不再是大學(xué)生養(yǎng)尊處優(yōu)的階段了。我們需要擺正自己的心態(tài)。以更好的態(tài)度去迎接自己的工作生涯。
??接下來，我們就來看看各種類型的公司都需要哪些人才，譬如是迎接畢業(yè)生呢？還是已經(jīng)擁有工作經(jīng)歷了呢？
??哎！哎！哎！其實(shí)我是不情愿看到這個(gè)結(jié)論的。。。。。。因?yàn)槲覀兛梢园l(fā)現(xiàn)無論在哪個(gè)類型的公司其所需要的很大一部分都是擁有工作經(jīng)歷的。。。而作為還在讀研究生的我來說，沒有工作經(jīng)驗(yàn)好憂傷，，一股淡淡的蛋疼襲來。。。突然間我就開始擔(dān)心自己的未來工作生涯了。。。。但是無論如何，還是得要天天充滿激情的生活！??！這才是正確的生活態(tài)度
??當(dāng)然我本來還想對(duì)招聘內(nèi)容做一下分析，但是看到這樣的實(shí)驗(yàn)結(jié)果圖已經(jīng)腦子沒有心情做事情了，還有一方面的原因是自己現(xiàn)在在NLP方向還需要進(jìn)一步的思考，這樣我才可以流暢的書寫下來。未來的一天我會(huì)專門的對(duì)這個(gè)數(shù)據(jù)集進(jìn)行文本分析。當(dāng)然看到數(shù)據(jù)挖掘方面如此高的薪資水平，更加堅(jiān)定了我要繼續(xù)這方面的努力。愿諸位安好。
??當(dāng)然代碼我會(huì)在接下來的時(shí)間整理好放到我的github
