爬蟲課程作業02-解密大數據社群

作業要求:

選擇簡書解密大數據專題里面上次爬蟲課的作業文檔地址作為分析頁面,分析并提交該頁面的網頁結構分析與元素標簽位置信息。

上次作業鏈接 http://www.lxweimin.com/p/7e2fccb4fad9

HTML基本結構

HTML基本結構.png

網頁基本結構圖

爬蟲課程作業01-解密大數據社群 - 簡書-標注版.png

head 區域

網頁標題

<title>爬蟲課程作業01-解密大數據社群 - 簡書</title>

頂部導航欄

|<a class="logo" href="/">

| </a>

寫文章

| <a class="btn write-btn" target="_blank" href="/writer#/">
| <i class="iconfont ic-write"></i>寫文章
| </a>

發現、關注、消息和搜索四個按鈕

<div class="collapse navbar-collapse" id="menu">
<ul class="nav navbar-nav">
<li class="">
<a href="/">
<span class="menu-text">發現</span><i class="iconfont ic-navigation-discover menu-icon"></i>
</a> </li>
<li class="">
<a href="/subscriptions">
<span class="menu-text">關注</span><i class="iconfont ic-navigation-follow menu-icon"></i>
</a> </li>
<li class="notification v-notification-dropdown-menu ">
<a class="notification-btn" href="/notifications" data-hover="dropdown">
<span class="menu-text">消息</span>
<i class="iconfont ic-navigation-notification menu-icon"></i>
<span class="badge"></span>
</a>
</li>
<li class="search">
<form target="_blank" action="/search" accept-charset="UTF-8" method="get"><input name="utf8" type="hidden" value="?" />
<input type="text" name="q" id="q" value="" placeholder="搜索" class="search-input" />
<a class="search-btn" href="javascript:void(null)"><i class="iconfont ic-search"></i></a>

</form> </li>
</ul>
</div>
文章標題

<h1 class="title">爬蟲課程作業01-解密大數據社群</h1>

作者信息

<div class="author">
<a class="avatar" href="/u/40cc6159e5ad">



</a> <div class="info">
<span class="tag">作者</span>
<span class="name"><a href="/u/40cc6159e5ad">在旅途的車</a></span>

文章基本信息,包括更新時間、字數、閱讀數量、評論數量、喜歡數量等等

<div class="meta">

<span class="publish-time" data-toggle="tooltip" data-placement="bottom" title="" data-original-title="最后編輯于 2017.07.04 00:29">2017.07.04 00:26*</span>
<span class="wordage">字數 387</span>
<span class="views-count">閱讀 33</span><span class="comments-count">評論 2</span><span class="likes-count">喜歡 2</span></div>

文章主體內容:

<div data-note-content="" class="show-content">
<div class="image-package">


<div class="image-caption">glenn-carstens-peters-203007.jpg</div>

</div>
<p>最近對金融行業的就業情況比較感興趣,準備從領英網站獲取一些數據,做一些分析。</p>
<p>一、要爬取的數據類別</p>
<p>領英網站金融行業的職位數據,包括公司名稱、職位名稱、薪酬范圍、職位要求</p>
<p>二、對應的數據源網站</p>
<p>領英網址 www.linkedin.com</p>
<p>三、爬取數據的URL</p>
<p><a target="_blank">https://www.linkedin.com/jobs/search/?keywords=audit&location=%E5%85%A8%E7%90%83&locationId=OTHERS.worldwide</a></p>
<p>四、數據篩選規則</p>
<p>根據職位的類別、招聘公司、職位所在地域、職位對應工作年限的要求、發布日期、職位要求、薪酬范圍等維度,對爬取的數據進行篩選和分析,希望獲得以下結論:</p>
<p>某個特定職位的薪酬水平及變化趨勢,判斷該職位的稀缺程度和就業概率;</p>
<p>某個特定職位的地域分布情況,提供自己發展的區域選擇參考依據;</p>
<p>某個特定職位在不同行業的分布情況,和對應的薪酬水平,以審計(audit)為例,該職位具備一定的行業共性,但是不同行業、同一個職位薪酬水平不同,可以為自己做職業轉換提供參考;</p>
<p>某個特定職位的工作要求,為自己的職業發展和技能培訓提供指導性意見。</p>

    </div>

側邊浮動按鈕,主要包括回到頂部、文章投稿、收藏文章和分享文章四個功能:

<ul><li data-placement="left" data-toggle="tooltip" data-container="body" data-original-title="回到頂部"><a class="function-button"><i class="iconfont ic-backtop"></i></a></li> <li data-placement="left" data-toggle="tooltip" data-container="body" data-original-title="文章投稿"><a class="js-submit-button"><i class="iconfont ic-note-requests"></i></a> </li> <li data-placement="left" data-toggle="tooltip" data-container="body" data-original-title="收藏文章"><a class="function-button"><i class="iconfont ic-mark"></i></a></li> <li data-placement="left" data-toggle="tooltip" data-container="body" data-original-title="分享文章"><a tabindex="0" role="button" data-toggle="popover" data-placement="left" data-html="true" data-trigger="focus" href="javascript:void(0);" data-content="<ul class='share-list'>
<li><a class="weixin-share"><i class="social-icon-sprite social-icon-weixin"></i><span>分享到微信</span></a></li>
<li><a href="javascript:void((function(s,d,e,r,l,p,t,z,c){var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','', '我寫了新文章《爬蟲課程作業01-解密大數據社群》( 分享自 @簡書 )','http://www.lxweimin.com/p/7e2fccb4fad9?utm_campaign=maleskine&utm_content=note&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認gb2312'));"><i class='social-icon-sprite social-icon-weibo'></i><span>分享到微博</span></a></li>

            <li><a href="javascript:void(function(){var d=document,e=encodeURIComponent,r='http://sns.qzone.qq.com/cgi-bin/qzshare/cgi_qzshare_onekey?url='+e('http://www.lxweimin.com/p/7e2fccb4fad9?utm_campaign=maleskine&utm_content=note&utm_medium=reader_share&utm_source=qzone')+'&title='+e('我寫了新文章《爬蟲課程作業01-解密大數據社群》'),x=function(){if(!window.open(r,'qzone','toolbar=0,resizable=1,scrollbars=yes,status=1,width=600,height=600'))location.href=r};if(/Firefox/.test(navigator.userAgent)){setTimeout(x,0)}else{x()}})();"><i class='social-icon-sprite social-icon-zone'></i><span>分享到QQ空間</span></a></li>
            <li><a href="javascript:void(function(){var d=document,e=encodeURIComponent,r='https://twitter.com/share?url='+e('http://www.lxweimin.com/p/7e2fccb4fad9?utm_campaign=maleskine&utm_content=note&utm_medium=reader_share&utm_source=twitter')+'&text='+e('我寫了新文章《爬蟲課程作業01-解密大數據社群》( 分享自 @jianshucom )')+'&related='+e('jianshucom'),x=function(){if(!window.open(r,'twitter','toolbar=0,resizable=1,scrollbars=yes,status=1,width=600,height=600'))location.href=r};if(/Firefox/.test(navigator.userAgent)){setTimeout(x,0)}else{x()}})();"><i class='social-icon-sprite social-icon-twitter'></i><span>分享到Twitter</span></a></li>
            <li><a href="javascript:void(function(){var d=document,e=encodeURIComponent,r='https://www.facebook.com/dialog/share?app_id=483126645039390&display=popup&href=http://www.lxweimin.com/p/7e2fccb4fad9?utm_campaign=maleskine&utm_content=note&utm_medium=reader_share&utm_source=facebook',x=function(){if(!window.open(r,'facebook','toolbar=0,resizable=1,scrollbars=yes,status=1,width=450,height=330'))location.href=r};if(/Firefox/.test(navigator.userAgent)){setTimeout(x,0)}else{x()}})();"><i class='social-icon-sprite social-icon-facebook'></i><span>分享到Facebook</span></a></li>
            <li><a href="javascript:void(function(){var d=document,e=encodeURIComponent,r='https://plus.google.com/share?url='+e('http://www.lxweimin.com/p/7e2fccb4fad9?utm_campaign=maleskine&utm_content=note&utm_medium=reader_share&utm_source=google_plus'),x=function(){if(!window.open(r,'google_plus','toolbar=0,resizable=1,scrollbars=yes,status=1,width=450,height=330'))location.href=r};if(/Firefox/.test(navigator.userAgent)){setTimeout(x,0)}else{x()}})();"><i class='social-icon-sprite social-icon-google'></i><span>分享到Google+</span></a></li>
            <li><a href="javascript:void(function(){var d=document,e=encodeURIComponent,s1=window.getSelection,s2=d.getSelection,s3=d.selection,s=s1?s1():s2?s2():s3?s3.createRange().text:'',r='http://www.douban.com/recommend/?url='+e('http://www.lxweimin.com/p/7e2fccb4fad9?utm_campaign=maleskine&utm_content=note&utm_medium=reader_share&utm_source=douban')+'&title='+e('爬蟲課程作業01-解密大數據社群')+'&sel='+e(s)+'&v=1',x=function(){if(!window.open(r,'douban','toolbar=0,resizable=1,scrollbars=yes,status=1,width=450,height=330'))location.href=r+'&r=1'};if(/Firefox/.test(navigator.userAgent)){setTimeout(x,0)}else{x()}})()"><i class='social-icon-sprite social-icon-douban'></i><span>分享到豆瓣</span></a></li>
          </ul>" data-original-title="" title="" class="function-button"><i class="iconfont ic-share"></i></a> <!----></li></ul>

底部作者信息:

<div class="follow-detail">
<div class="info">
<a class="avatar" href="/u/40cc6159e5ad">



</a> <div data-author-follow-button=""></div>
<a class="title" href="/u/40cc6159e5ad">在旅途的車</a>
<p>寫了 39662 字,被 26 人關注,獲得了 35 個喜歡</p></div>
</div>

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,501評論 6 544
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,673評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事?!?“怎么了?”我有些...
    開封第一講書人閱讀 178,610評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,939評論 1 318
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,668評論 6 412
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 56,004評論 1 329
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 44,001評論 3 449
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,173評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,705評論 1 336
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,426評論 3 359
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,656評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,139評論 5 364
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,833評論 3 350
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,247評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,580評論 1 295
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,371評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,621評論 2 380

推薦閱讀更多精彩內容