《深入淺出數(shù)據(jù)分析》筆記

利用Excel或OpenOffice組織數(shù)據(jù),然后再用R進(jìn)一步整理,通過散點(diǎn)圖和直方圖找出有意義的模式,借助啟發(fā)式算法做出結(jié)論,通過實(shí)驗(yàn)和假定測(cè)試預(yù)見未來,再以清楚直觀的圖形展示分析結(jié)果。

1:數(shù)據(jù)分析引言

如何處理所有的數(shù)據(jù)材料,如何將原始數(shù)據(jù)轉(zhuǎn)變成推進(jìn)現(xiàn)實(shí)工作的妙策,如何分解和構(gòu)建復(fù)雜的問題和數(shù)據(jù)集,進(jìn)而牢牢把握工作中的各種問題。
所有的數(shù)據(jù)分析師最終都會(huì)被打造成能做出更好決策的人才,要學(xué)的就是在浩如煙海的數(shù)據(jù)中洞察先機(jī),做出更好的決策。

數(shù)據(jù)分析就是仔細(xì)推敲證據(jù)。

  • 基本流程,同時(shí)根據(jù)數(shù)據(jù)仔細(xì)推敲各種問題
    1. 確定問題
    2. 分解問題(和數(shù)據(jù),使其成為更小的組成部分)
    3. 評(píng)估問題(對(duì)在前兩步了解到的情況作出各種情況)
    4. 決策(組合得出的結(jié)論,作出建議或決策)

認(rèn)清問題,進(jìn)而解決問題。如何從數(shù)據(jù)中發(fā)現(xiàn)機(jī)會(huì)。
務(wù)必要基于正確的假設(shè)建立模型,并且如果得出的數(shù)據(jù)有違你的假設(shè),就立即回頭重新詳加思考。

  • 確定問題
    目標(biāo)是什么,如何確定問題。
    SMART原則,必須要量化你的目標(biāo)。
    優(yōu)秀的數(shù)據(jù)分析師會(huì)自己思考問題,而不是等著別人告訴他們?cè)撟鍪裁础?br> 考慮不確定因素及盲點(diǎn)。
    謹(jǐn)慎做出假設(shè),因?yàn)槟愕募僭O(shè)將大大影響決策。
    **結(jié)合業(yè)務(wù),確定問題。 **

  • 分解問題
    將問題分解為更小的組成部分。 劃分為可管理、可解決的組塊,細(xì)化問題。
    嘗試分解最重要因子的最好起步辦法是找出高效的比較因子。
    進(jìn)行有效的比較是數(shù)據(jù)分析的核心。

  • 評(píng)估組塊
    評(píng)估組塊的關(guān)鍵就是比較。

  • 決策
    將分析形成報(bào)表供制定決策,否則分析將毫無用處。

數(shù)據(jù)分析的方法論是什么,怎么從數(shù)據(jù)的分析(n多表格)中發(fā)現(xiàn)事實(shí)、做出正確的決策,什么步驟、什么方法、怎么做。
多看書:數(shù)據(jù)讀書分享系列篇(1):那些年數(shù)據(jù)分析師必讀書單
一定要有自己的思路,就跟做題一樣,毫無頭緒怎么做。


2:檢驗(yàn)?zāi)愕睦碚?/h2>

做個(gè)好實(shí)驗(yàn),既能解決問題又能揭示事物的真正運(yùn)行規(guī)律,能讓你擺脫對(duì)觀察數(shù)據(jù)的無限依賴,幫助你理清因果關(guān)系;可靠的實(shí)證數(shù)據(jù)將讓你的分析判斷更有說服力。

ABTest,控制變量法,實(shí)驗(yàn)組和控制組,進(jìn)行比較。

3:最優(yōu)化

希望盡量多或盡量少獲得某種東西,而為了實(shí)現(xiàn)這個(gè)目的需要改變其他一些量的數(shù)值,這就是最優(yōu)化的問題。

將決策變量、約束條件、及希望最大化的目標(biāo)合并成一個(gè)函數(shù)來解決最優(yōu)化問題。

創(chuàng)建最有用的模型,你的假設(shè)和約束條件都逼近事實(shí)。你的假設(shè)應(yīng)立足于不斷變化的實(shí)際情況。

4:數(shù)據(jù)圖形化,圖形讓你更聰明

看到一張新圖片,該問圖片中隱含哪些數(shù)據(jù),你所關(guān)心的是數(shù)據(jù)的質(zhì)量及其含義。
體現(xiàn)數(shù)據(jù)。創(chuàng)建優(yōu)秀的數(shù)據(jù)圖形的第一要?jiǎng)?wù)就是促使客戶謹(jǐn)慎思考并制定正確決策,優(yōu)秀的數(shù)據(jù)分析由始至終都離不開用數(shù)據(jù)思考。
數(shù)據(jù)龐雜時(shí),而且對(duì)于如何處理這些數(shù)據(jù)沒有把握,請(qǐng)記住你的分析目標(biāo):記住目標(biāo),目光停留在和目標(biāo)有關(guān)的數(shù)據(jù)上,無視其他。

數(shù)據(jù)圖形化的根本在于正確比較。
散點(diǎn)圖是探索性數(shù)據(jù)分析的奇妙工具。
最優(yōu)秀的圖形都是多元圖形,展現(xiàn)三個(gè)以上的變量。

5:假設(shè)檢驗(yàn)

觀察數(shù)據(jù)變量有一個(gè)好辦法,即這些變量是正相關(guān)還是負(fù)相關(guān)。
假設(shè)檢驗(yàn)的核心是證偽。

6:貝葉斯統(tǒng)計(jì)

數(shù)據(jù)收集工作永不停息。必須確保每一個(gè)分析過程都充分利用所搜集到的與問題有關(guān)的數(shù)據(jù)。證偽法用于處理異質(zhì)數(shù)據(jù)源,貝葉斯統(tǒng)計(jì)用于處理直接概率問題。

7:信念數(shù)字化

用數(shù)字描述你的心智狀態(tài),標(biāo)明你的信念。主觀概率就是這樣一種將嚴(yán)謹(jǐn)融入直覺的簡(jiǎn)便辦法。

8:?jiǎn)l(fā)法

使用快省樹來描述啟發(fā)法。就是思維導(dǎo)圖,發(fā)散思維。

9:直方圖

10: 回歸預(yù)測(cè)

回歸線預(yù)測(cè)。

11:誤差

在預(yù)測(cè)時(shí)指出誤差范圍,指出誤差可以讓預(yù)測(cè)和信念更全面,控制誤差和盡量降低誤差,提高預(yù)測(cè)的可信度。

12:關(guān)系數(shù)據(jù)庫(kù)

13:整理數(shù)據(jù)

亂糟糟的數(shù)據(jù)毫無用處。
數(shù)據(jù)整理 --> 數(shù)據(jù)分析
牢記你的目的

附錄:

統(tǒng)計(jì)學(xué)領(lǐng)域擁有大量數(shù)據(jù)分析工具和技術(shù),對(duì)數(shù)據(jù)分析極其重要。
Excel技巧
數(shù)據(jù)透視表
R社區(qū)
非線性與多元回歸
原假設(shè)-備擇假設(shè)檢驗(yàn)
隨機(jī)性

圖形原則:

  • 體現(xiàn)出比較、對(duì)比、差異
  • 體現(xiàn)出因果關(guān)系、機(jī)制、理由、系統(tǒng)結(jié)構(gòu)
  • 體現(xiàn)出多元數(shù)據(jù)、即體現(xiàn)出1個(gè)或2個(gè)變量
  • 將文字、數(shù)字、圖片、圖形全面結(jié)合起來
  • 充分描述證據(jù)
  • 數(shù)據(jù)分析報(bào)告的成敗在于報(bào)告內(nèi)容的質(zhì)量、相關(guān)性和整體性

<br />
<br />

其他: http://blog.csdn.net/frog_in_a_well/article/details/11975579

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 229,565評(píng)論 6 539
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 99,115評(píng)論 3 423
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事?!?“怎么了?”我有些...
    開封第一講書人閱讀 177,577評(píng)論 0 382
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我,道長(zhǎng),這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,514評(píng)論 1 316
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 72,234評(píng)論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 55,621評(píng)論 1 326
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,641評(píng)論 3 444
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 42,822評(píng)論 0 289
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 49,380評(píng)論 1 335
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 41,128評(píng)論 3 356
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 43,319評(píng)論 1 371
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,879評(píng)論 5 362
  • 正文 年R本政府宣布,位于F島的核電站,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 44,548評(píng)論 3 348
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,970評(píng)論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,229評(píng)論 1 291
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 52,048評(píng)論 3 397
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 48,285評(píng)論 2 376

推薦閱讀更多精彩內(nèi)容