關(guān)于背單詞軟件,你不知道的驚人真相

0x00 前言

  • 你想知道背單詞軟件有大概多少人注冊第一天都沒有背完嘛?
  • 你想知道背單詞軟件這么火,這么多人在使用,真的有多少人真的在背誦嘛?

別急,Python程序員用數(shù)據(jù)給你說話.

文章目錄如下:

  • 0x00 前言
  • 0x01 問題的提出和任務(wù)的分解
  • 0x02 任務(wù)一,信息爬取
  • ox03 任務(wù)二,清理和存儲
  • 0x04 任務(wù)三,分析
  • 0x05 任務(wù)四,結(jié)論
  • 0x06 整個(gè)流程的不足和反思.
  • 0x07 代碼.

0x01 問題的提出和任務(wù)的分解

前兩天,就在一個(gè)雷電交加的夜晚,我躺在床上,草草的看了一篇英文文章,突然想到一個(gè)非常有意思的問題:

是不是大部分的人做事真的不能堅(jiān)持呢?比如,背單詞.

好,那我就看看到底有多少人是堅(jiān)持不下來的?

那么,我們的問題就變成了這樣子:

  • 有多少人是在堅(jiān)持或者曾經(jīng)堅(jiān)持過背單詞呢?(假設(shè)100天以上算的上是背單詞的話)
  • 有多少夢想,毀于不能堅(jiān)持?
  • 背單詞的人們學(xué)習(xí)的量,是不是符合正太分布呢?

于是我選中了業(yè)內(nèi)的標(biāo)桿扇貝軟件作為分析的對象.抽取其中的大約1/30的用戶的公開數(shù)據(jù),也就是游客用戶都可以看得到的數(shù)據(jù),進(jìn)行抽樣調(diào)查.

調(diào)查的具體內(nèi)容如下:

  • 打卡最高/成長值最高/學(xué)習(xí)單詞數(shù)量最高
  • 平均每個(gè)人打卡次數(shù)/成長值/學(xué)習(xí)單詞數(shù)量
  • 打卡/成長值/學(xué)習(xí)單詞數(shù)量的分布(也就是已經(jīng)堅(jiān)持了多少天了)

那么,我的任務(wù)也就可以分解如下:

  • 爬取數(shù)據(jù)
    • 使用Python2的Scrapy進(jìn)行爬站
  • 清理數(shù)據(jù)
    • sql語句和pandas運(yùn)算
  • 分析數(shù)據(jù)
    • pandas + seaborn + ipython book
  • 得出結(jié)論

0x02 任務(wù)一,信息爬取,清理和存儲

每個(gè)用戶的信息都在這里:

http://www.shanbay.com/bdc/review/progress/2

使用beautifulsoup4 進(jìn)行解析即可.其他部分參考代碼.

扇貝的工程師反爬蟲做的還不錯(cuò),主要有兩點(diǎn):

  • 訪問數(shù)量超標(biāo),封禁IP半個(gè)小時(shí).對應(yīng)的方法就是代理服務(wù)器.(代碼中已經(jīng)刪除代理服務(wù)器,所以,如果你運(yùn)行不了代碼,那你應(yīng)該知道怎么做了.)
  • cookie如果不禁用很快就無法爬取.對應(yīng)的方法就是禁用Cookie.

0x03 任務(wù)二,清理和存儲

對于數(shù)據(jù)庫,使用Postgresql存儲就好了.也沒有什么大問題.參考代碼.有問題在評論下面問.

通常情況下在存入數(shù)據(jù)庫的時(shí)候需要進(jìn)行數(shù)據(jù)的凈化,不處理也沒有什么大問題.

0x04 任務(wù)三,分析

分析階段,使用IPython notebook. 通常情況下,我們使用的是Anaconda里面的Python3版本 .可以到這里下載,注意,mac和ubuntu下載的是命令行版本.

https://www.continuum.io/downloads

安裝完畢以后,重啟終端.環(huán)境變量生效.

#直接安裝seaborn
pip install seaborn

切換到指定目錄然后敲入命令ipython notebook打開瀏覽器進(jìn)行編輯.

至于怎么使用,請看代碼.

0x05 任務(wù)三,結(jié)論

在這里省去部分的分析過程直接貼出結(jié)論.

總共抓取1111111張網(wǎng)頁,成功獲取610888個(gè)用戶的信息.

于是得出結(jié)論如下:

扇貝之最:

  • 最高打卡天數(shù): chainyu 1830天
  • 最高成長值: Lerystal 成長值 28767
  • 最高單詞數(shù)量: chenmaoboss 單詞量 38313

平均到每一個(gè)人身上

  • 平均每人打卡天數(shù): 14.18,而超過成長平均值的人數(shù)為71342,占總抽樣人數(shù)的,額,11.69%
  • 平均成長值: 121.79,而超過平均成長的人數(shù)為13351,占總抽樣人數(shù)的,額,11.42%
  • 平均學(xué)習(xí)單詞數(shù)量: 78.92,而背超過平均單詞的人數(shù)為13351,占總抽樣人數(shù)的,額,2.19%(注意,真的是2%左右)

那么,我們來看看打卡,成長值,單詞數(shù)量的,分布吧.

第一個(gè),所有人的打卡數(shù)量直方圖.

這是所有人的打卡數(shù)量直方圖

簡直慘不忍睹.

第二個(gè),非零用戶的打卡數(shù)量直方圖.

非零用戶的打卡數(shù)量的直方圖

這真是一段悲傷的故事.由于堅(jiān)持不了幾天的用戶實(shí)在是太多,簡直就是反比例函數(shù)嘛,導(dǎo)致圖像嚴(yán)重畸形.那么,我們只能分段了看用戶打卡天數(shù)在020,20100,100500,5002000范圍的分布圖了.

分別如下:

0~20
20~100
100~500
500~2000

其他成長值的各種分布也是如此,在此就不貼出來了.

正如你所看到的,我再來總結(jié)一下,

在抽樣中,

  1. 英語夢死在前0天的有416351人,占總比68.15%;
  2. 英語夢死在前1天的有466761人,占總比76.40%;
  3. 英語夢死在前2天的有484535人,占總比79.31%;
  4. 英語夢死在前5天的有510230人,占總比83.52%;
  5. 英語夢死在前10天的有531219人,占總比86.95%;
  6. 英語夢死在前20天的有551557人,占總比90.28%;
  7. 英語夢死在前50天的有575975人,占總比的94.28%;
  8. 英語夢死在前100天的有590700人,占總比96.69%;
  9. 英語夢死在前200天的有575975人,占總比98.36%;
  10. 英語夢死在前263天的有600875人,占總比98.81%;

你可以大致感受到殘酷的現(xiàn)實(shí),幾乎沒有多少人可以堅(jiān)持到200天以后.

但是,你還需要注意到的事情是:

抽樣的來源是ID為1~1111111之間的60W成員

眾所周知的事情是:

  • 早期的用戶往往質(zhì)量相對會高一些.而且,注冊的ID越大,證明注冊時(shí)間距離現(xiàn)在越近.獲得200天的幾率也就低了不少.

那么,這樣的話,英語夢死在200天之前的人數(shù)比例還會大上不少.

回到文章開始:

問: 背單詞軟件有大概多少人注冊第一天都沒有背完嘛?
答:68.15%

問:有多少人是在堅(jiān)持或者曾經(jīng)堅(jiān)持過背單詞呢?(假設(shè)100天以上算的上是背單詞的話)
答:保守估計(jì),不足3.4%

問:有多少夢想,毀于不能堅(jiān)持?
答:不妨干了這碗雞湯,歌唱青春一去不復(fù)返.

問:背單詞的人們學(xué)習(xí)的量,是不是符合正太分布呢?
答:不是,簡直就是反比例函數(shù).

拋出一個(gè)結(jié)論:

以絕大部分人努力之低,根本就用不著拼天賦.

贈給你我,共勉.

0x06 整個(gè)流程的不足和反思.

扇貝的工程師反爬蟲做的還不錯(cuò),主要有兩點(diǎn):

  • 訪問數(shù)量超標(biāo),封禁IP半個(gè)小時(shí).對應(yīng)的方法就是代理服務(wù)器.
  • cookie如果不禁用很快就無法爬取.對應(yīng)的方法就是禁用Cookie.

爬蟲框架使用Scrapy,這樣就免去了大量的繁瑣的線程調(diào)度問題,直接寫獲取信息的邏輯代碼,以及存儲信息的邏輯代碼就好了.

在編寫爬蟲的過程中,有一些經(jīng)驗(yàn):

  • 在爬蟲開啟以后,由于我暴力的關(guān)閉,導(dǎo)致還是有不少的item沒有完成請求處理和存儲.
  • 我在處理異常的時(shí)候忘了應(yīng)當(dāng)把失敗的item存放放在文件中,方便我第二次補(bǔ)充,這樣的話就不會丟失一部分的用戶信息了.
  • 代理服務(wù)器需要自己寫腳本進(jìn)行測試,否則你可能有很多很多的請求都會超時(shí)(畢竟很多代理服務(wù)器還是很不靠譜的).

我的分析數(shù)據(jù)能力并不是很強(qiáng),僅僅是從CS109里面偷學(xué)了一點(diǎn)點(diǎn),然后使用Seaborn畫圖,但是這整個(gè)過程中還是覺得自己分析不過來,不是寫不出代碼,而是不清楚使用什么樣的數(shù)據(jù)模型進(jìn)行分析更好.

0x07 代碼

代碼放在了Github上面,咳咳,注意,沒有把代理服務(wù)器放進(jìn)去.如果你跑一下會發(fā)現(xiàn)只能半小時(shí)抓取300+頁面,這不是我的問題,是你沒有把代理服務(wù)器填好.代碼比較粗糙,還請輕拍.

代碼的地址為:

https://github.com/twocucao/DataScience/

倉庫里包含了抓取網(wǎng)站的代碼和分析數(shù)據(jù)的IPython Notebook,自己閱讀吧.

如果喜歡本文,就點(diǎn)個(gè)喜歡吧.

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,505評論 6 533
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 98,556評論 3 418
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 176,463評論 0 376
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,009評論 1 312
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 71,778評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 55,218評論 1 324
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,281評論 3 441
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 42,436評論 0 288
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 48,969評論 1 335
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 40,795評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 42,993評論 1 369
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,537評論 5 359
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 44,229評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,659評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,917評論 1 286
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 51,687評論 3 392
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 47,990評論 2 374

推薦閱讀更多精彩內(nèi)容