過度擬合

有些人做過大量功課,掌握了豐富數(shù)據(jù)和資料,為什么他們的決策水平,反而不如大佬短短時間內(nèi)的快速判斷?難道說,對一個問題思考得多,反而可能沒好處嗎?

如果你的模型涉及到?jīng)Q策判斷和預(yù)測未來,那么精確寫實往往不如粗略寫意。事實上,你的模型越寫實,你的最終效果反而可能越差!數(shù)學(xué)家,管這個叫做“過度擬合”。

結(jié)婚以后,生活滿意度隨著時間的變化。曲線上有10個點,對應(yīng)結(jié)婚第1年到第10年的數(shù)據(jù)。



據(jù)這10個點來預(yù)測人們結(jié)婚15年甚至20年之后的幸福度,應(yīng)該怎么辦呢?你就需要根據(jù)現(xiàn)有的10個點畫出一條曲線,然后再把這條曲線按照原來的趨勢延伸出去。畫曲線發(fā)現(xiàn)趨勢的這個動作,就叫“擬合”。



如果曲線只是時間的函數(shù),那么一階多項式,f(t)=a+bt,就是假設(shè)生活滿意度只和時間的一次方有關(guān)。你也可以進行二階多項式擬合,f(t)=a+bt+ct^2,也就是生活滿意度不僅和時間有關(guān),還和時間的平方有關(guān)。以此類推,你還可以考慮更高階的多項式擬合。

九階多項式擬合的結(jié)果是錯的離譜。

過度擬合。你的模型想要一絲不茍地反映已知的所有數(shù)據(jù),它對未知數(shù)據(jù)的預(yù)測能力就會非常差。這是因為所謂的“已知”數(shù)據(jù),都是有誤差的!精準(zhǔn)的擬合會把數(shù)據(jù)的誤差給放大 ——擬合得越精確,并不代表預(yù)測結(jié)果就越準(zhǔn)確,擬合得過度精確后反而結(jié)果更加糟糕。

解決:

不要想忒多。

wwg


這篇學(xué)習(xí)了之后,感覺醍醐灌頂。

做投資市場這么多年,我經(jīng)常犯這樣的錯誤

具備發(fā)掘大牛公司的能力,也發(fā)掘了一大堆牛的公司。但是總體收益雖然也是在那5%的人,但是只有長期持有這些牛股的1/10。

最大的問題就是過度擬合。

信息爆炸的年代,總是跳出來各種各樣的信息。

其實每日盯盤,也是造成信息過載的重要原因。

真正的一波長邏輯,自然會有過程中的回調(diào)等,只要不是核心因素,都是噪聲。

很多時候說耐心不夠,其實耐心是建立在一定的基礎(chǔ)上,那就是對信息的去繁存簡。對很多噪音的屏蔽能力。

很多年前看過這樣一文,共勉。


《種樹郭橐駝傳》,唐代文學(xué)家柳宗元的傳記作品


郭橐駝,不知道他起初叫什么名字。他患了脊背彎曲的病,脊背突起而彎腰行走,就像駱駝一樣,所以鄉(xiāng)里人稱呼他叫“橐駝”。橐駝聽說后,說:“這個名字很好啊,這樣稱呼我確實恰當(dāng)。”于是他舍棄了他原來的名字,也自稱起“橐駝”來。

他的家鄉(xiāng)叫豐樂鄉(xiāng),在長安城西邊。郭橐駝以種樹為職業(yè),凡是長安城里經(jīng)營園林游覽和做水果買賣的豪富人,都爭著把他接到家里奉養(yǎng)。觀察橐駝種的樹,有的是移植來的,也沒有不成活的;而且長得高大茂盛,結(jié)果實早而且多。其他種樹的人即使暗中觀察、羨慕效仿,也沒有誰能比得上。

有人問他種樹種得好的原因,他回答說:“我郭橐駝不是能夠使樹木活得長久而且長得很快,只不過能夠順應(yīng)樹木的天性,來實現(xiàn)其自身的習(xí)性罷了。但凡種樹的方法,它的樹根要舒展,它的培土要平均,它根下的土要用原來培育樹苗的土,它搗土要結(jié)實。已經(jīng)這樣做了,就不要再動,不要再憂慮它,離開它不再回顧。栽種時要像對待子女一樣細(xì)心,栽好后要像丟棄它一樣放在一邊,那么樹木的天性就得以保全,它的習(xí)性就得以實現(xiàn)。所以我只不過不妨礙它的生長罷了,并不是有能使它長得高大茂盛的辦法;只不過不抑制、減少它的結(jié)果罷了,也并不是有能使它果實結(jié)得早又多的辦法。別的種樹人卻不是這樣,樹根拳曲又換了生土;他培土的時候,不是過多就是過少。如果有能夠和這種做法相反的人,就又太過于吝惜它們了,擔(dān)心它太過分了,在早晨去看了,在晚上又去摸摸,已經(jīng)離開了,又回頭去看看。更嚴(yán)重的,甚至用指甲劃破樹皮來觀察它是活著還是枯死了,搖晃樹根來看它是否栽結(jié)實了,這樣樹木的天性就一天天遠(yuǎn)去了。雖然說是喜愛它,這實際上是害了它,雖說是擔(dān)心它,這實際上是仇視它。所以他們都不如我。我又能做什么呢?”

問的人說:“把你種樹的方法,轉(zhuǎn)用到做官治民上,可行嗎?”橐駝?wù)f:“我只知道種樹罷了,做官治民,不是我的職業(yè)。但是我住在鄉(xiāng)里,看見那些官吏喜歡不斷地發(fā)號施令,好像是很憐愛(百姓)啊,但百姓最終反因此受到禍害。在早上在晚上那些小吏跑來大喊:‘長官命令:催促你們耕地,勉勵你們種植,督促你們收獲,早些煮繭抽絲,早些織你們的布,養(yǎng)育你們的小孩,喂大你們的雞和豬。’一會兒打鼓招聚大家,一會兒鼓梆召集大家,我們這些小百姓停止吃早、晚飯去慰勞那些小吏尚且不得空暇,又怎能使我們繁衍生息,使我們民心安定呢?所以我們既困苦又疲乏,像這樣(治民反而擾民),它與我種樹的行當(dāng)大概也有相似的地方吧?”

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容