按正常路子，講泛化應該先說傳統機器學習中泛化是什么，神經網絡泛化有什么不一樣，但是……。難道除了傳統機器學習其他語境中沒有泛化嗎?我覺得其他地方肯定有泛化的近義詞。都說學英語最好的方法是在環境中學習，多接觸近義詞，我認為學深度學習也一樣。

????? 在做深度學習實驗的時候我們認識的泛化是這樣的：泛化是指從訓練集中學習得到的模型參數在測試集中是不是也好用，好用則泛化好，不好用則泛化不好。

????? 當年我學習深度學習最喜歡思考的一個例子分男女問題。當一個人還沒有對象時候，會想找對象，通過認識地理位置接近或者網絡位置接近的人擴展生活圈。為了確定是不是我們的潛在對象，第一步要確認對方的性別，會想知道他是男是女。先確定是異性，再調動自己的勾搭程序。

當年還沒結婚的時候，這個判別過程在大腦中啟動的很頻繁。

我覺得大家應該都有自己的套路，我比較常用的是看頭發，男的通常短，女的通常長。然后通過其他位置（如身高，服飾，胸部，胯下，胡子，面部皮膚，肩膀整體感）信息確認，如果符合就在心中下個定論，男的或者女的。然后思維進入選候選對象的下一個過程。

舉一個比較容易迷惑的例子。有一類，短發，胸部不是很大，不高，短發，男性服裝（運動衣或襯衫毛衣，寬松牛仔褲），皮膚光滑，。這類人成都重慶比較普遍，在沿海不多。頭一次見到的時候覺得顛覆世界觀（短頭發，男性服飾，女的？？），很疑惑，就偷偷盯著別人胸部仔細尋找起伏。

現在來理一下這個識別的整個過程。首先先看，一般先注意到頭發、身高、服飾信息等很容易注意到的信息。因為容易注意，且區分度還可以，效率也高，但也容易存在一些反例，比如例子中的：頭發-男，身高-女，服飾-男。如果判斷都一樣也ok啦，但是如果出現矛盾，就傾向于找更靠譜的信息，第二性征，或第一性征——偷看胸部。

所有特征按靠譜程度可以排個順序：

第一類，最靠譜，第一性征，和第二性征

第二類，次靠譜：皮膚，女性服飾，長頭發，腿型

第三類，次次靠譜:身高，男性服飾

說起來，結婚后看過中醫，又繼續研究脊柱彎曲，套路又多了一些。所以，每個人有一套自己的識別方法，細節上不同。而且所處地域風俗的不同，平時接觸樣本不同，也會有很大差異。但是最靠譜的方式應該是沒有意義的。

在識別沒有見過的人的性別的時候，第一類方法最靠譜，第二類方法次靠譜。
這句話的機器學習版本：在測試集（沒見過的人）上測試分類（識別性別），第一性征方法識別率最高。即第一類方法泛化性能最好。

某天去蘇格蘭，用國內習得的根據服飾判別男女方法看到蘇格蘭裙，肯定又要被刷新世界觀。(在一個同屬于一類問題——人類男女問題——的測試集合（蘇格蘭）中，裙子方法不那么泛化，第二性征方法比較泛化。)

所以在我淺薄的認識里面，泛化就是普遍性靠譜的意思。一個模型就是一組串聯或并聯的“如果……則……”句式，一個模型的泛化就是一組“如果……則……”句式的的普遍性和靠譜程度。

英文泛化：generalization 有道德翻譯是：

原來英文本意就有普遍性的意思，泛化聽著好聽，在用的時候有點繞。

寫完普遍性還很想寫，為什么一個模型是一組如果則句式，還有我對泛化比較數學化一點的理解。