【機器學習中的數(shù)學】函數(shù)空間

數(shù)學的空間

數(shù)學中的空間概念是要有研究工作的對象和遵循的規(guī)則。其中,包含元素和結構。
如線性結構中,定義加法和數(shù)乘;拓撲結構中,要有距離、范數(shù)、開集三要素。

距離

范數(shù)是具有“長度”概念的函數(shù)。
距離、范數(shù)可以指向量的距離,我們可以定義以下幾種向量的距離:

  • d1(x,y)=sqrt((x1-y1)^2 + ... + (xn-yn)^2)
  • d2(x,y) = max{|x1-y1|, ..., |xn-yn|}
  • d3(x,y) = |x1-y1|+ ...+ |xn-yn|

距離、范數(shù)也可以指曲線的距離,即函數(shù)f(x)到函數(shù)g(x)的距離:

  • d1(f,g) = ∫ (f(x)-g(x))^2 dx
  • d2(f,g) = max |f(x)-g(x)|
  • d3(f,g) = ∫ (f(x)-g(x))^k dx
    以上x都定義在[a,b]之間

接下來我們要去定義距離的抽象概念。
我們要知道,如果一個對象不是具體的,是抽象的,是泛指的,那么我們就抓最重要的屬性來描述這個對象,而舍棄其他的屬性。

距離的定義

設X是非空集合,任給一對這一集合的元素x、y,都給定一個實數(shù),d(x,y)與它們對應,并且滿足:
(1) 非負性:d(x,y)≥0 ; d(x,y)=0, then x=y
(2) 對稱性:d(x,y)=d(y,x)
(3) 三角不等式:d(x,y) ≤ d(x,z)+d(z,y)
則稱d(x,y)是兩點之間的距離。

tips:
為什么曲線距離中可以用maximum來定義距離,而不能用minimum來定義距離。
因為如果兩條曲線相交時,對|f(x)-g(x)|取最小,就等于0,那么按照距離的定義,那么f(x)=g(x),這顯然違背了距離的定義。所以并不是隨意的度量方式都可以作為一種距離的定義的。

范數(shù)

范數(shù)的定義

設||x||是R^n的范數(shù),若滿足:
(1)||x|| ≥ 0, for all x∈R^n; ||x||=0 is equal to x=0
(2)||αx||=|α|·||x||, for all α∈R, x∈R^n
(3)||x+y|| ≤ ||x||+||y||, for all x,y ∈R^n
這里范數(shù)可以簡單看成到零點的距離,并且多了第(2)條

tips:
由范數(shù)可以定義距離:d(x,y)=||x-y||
但是由距離不一定可以定義范數(shù),例如:||x||=d(0,x),但||αx||=d(0,αx)≠|α|·||x||
之所以有這樣的區(qū)別,我們可以簡單理解成,范數(shù)是帶有限制條件的距離,是更加具體的距離,而距離比范數(shù)要少一些東西。

除了距離,我們還需要線性結構。
在線性空間中,向量定義了加法和數(shù)乘運算,它們還滿足加法交換律、加法結合律、負元、零元;數(shù)乘的交換律、單位一、數(shù)乘與加法交換律。

賦予范數(shù)或距離的集合分別稱為:賦范空間和度量空間;若在其上再加上線性結構稱為線性賦范空間和線性度量空間。

內(nèi)積空間

復返空間有向量的模長,即范數(shù)。但是還缺乏一個很重要的概念——兩個向量的夾角,為克服這一缺陷,我們引入內(nèi)積。
內(nèi)積的定義:

設(x,y)∈R,且滿足:
(1)對稱性
(2)對第一變元的線性性
(3)正定性,大于等于零
則稱(x,y)為內(nèi)積。

  • 內(nèi)積可導出范數(shù),||x||^2 = (x,x),但是范數(shù)不能表示內(nèi)積,因為內(nèi)積比范數(shù)又多了東西。
  • 在線性空間上定義內(nèi)積,其空間稱為內(nèi)積空間。
  • 內(nèi)積可在空間中簡歷歐幾里得集合學,例如交角、垂直和投影等,故習慣上稱為歐幾里得空間。
  • 1904年-1910年希爾伯特引入無窮實數(shù)組并定義內(nèi)積,其空間稱為內(nèi)積空間,再加上完備性,稱為希爾伯特空間(無窮維,而歐幾里得空間是n維)。
  • 1922年巴拿赫提出賦范空間,其完備性的賦范空間稱為巴拿赫空間。
    這里提到的完備性可以理解為,在該空間中的極限運算中,它取極限不能跑出去。比如在有理數(shù)集中不行,必須到實數(shù)集中求極限得到的結果依然在實數(shù)集中。

拓撲空間

歐幾里得幾何學需要內(nèi)積,但連續(xù)的概念不需要內(nèi)積,甚至不需要距離。
仔細考察連續(xù)的概念,其實他需要的是開集,即用開集可以定義連續(xù)。
原來的連續(xù)定義:

for all ε>0, exist δ>0, (|x-x_0|<δ) => (|f(x)-f(x_0)|<ε)

現(xiàn)在不在需要距離之后,我們來定義連續(xù)的概念:

記 x_0∈D belong to R,
x_0的鄰域定義為O(x_0,δ)={x; |x-x_0|<δ}
f(x_0)的鄰域定義為O(f(x_0),ε)={y; |y-f(x_0)|<ε}
那么可定義連續(xù)為
for all ε>0,exist δ>0, f(O(x_0,δ) ∩ D) belong to O(f(x_0),ε)
即把x_0的鄰域用f函數(shù)映射之后還在f(x_0)的鄰域里就稱為連續(xù)。

拓撲的定義:

設X是任一集合τ belong to 2^X,若滿足:
(1)τ內(nèi)任意個集合的并仍屬于τ
(2)τ內(nèi)有限個集合的交仍屬于τ
(3) X和空集屬于τ
則稱τ是X上的一個拓撲。
其中元素是X,規(guī)則是τ,稱(X,τ)為拓撲空間;

總結

范數(shù)可以定義“強化”了的距離
內(nèi)積是較距離和范數(shù)又更多的內(nèi)涵
拓撲是“弱化”了的距離

有了拓撲就有了拓撲空間,有了距離就有了度量空間,有了范數(shù)就有了賦范空間,有了內(nèi)積就有了內(nèi)積空間(已有線性結構)。
如果將上述空間再加上線性結構就成為拓撲線性空間,線性度量空間,線性賦范空間,內(nèi)積空間。
如果對于線性賦范空間又加上完備性,那就是巴拿赫空間;內(nèi)積空間再加上完備性,那就是希爾伯特空間。
(完備性就是玩極限游戲不能玩出去~~)
數(shù)學中,函數(shù)空間是從集合X到集合Y的給定種類的函數(shù)的集合。它叫做空間是因為在很多應用中,它是拓撲空間或向量空間或這二者。

研究無窮維內(nèi)積空間或者無窮維線性賦范空間中映射的數(shù)學分支叫泛函分析,又分為線性泛函分析和非線性泛函分析。
研究拓撲空間的數(shù)學分支叫拓撲學,又分為點集拓撲、代數(shù)拓撲和微分拓撲。

參考資料

上海交通大學公開課:數(shù)學之旅

轉載請注明作者Jason Ding及其出處
Github博客主頁(http://jasonding1354.github.io/)
GitCafe博客主頁(http://jasonding1354.gitcafe.io/)
CSDN博客(http://blog.csdn.net/jasonding1354)
簡書主頁(http://www.lxweimin.com/users/2bd9b48f6ea8/latest_articles)
Google搜索jasonding1354進入我的博客主頁

最后編輯于
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 229,763評論 6 539
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 99,238評論 3 428
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 177,823評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,604評論 1 317
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,339評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 55,713評論 1 328
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,712評論 3 445
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,893評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 49,448評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 41,201評論 3 357
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,397評論 1 372
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,944評論 5 363
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 44,631評論 3 348
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,033評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,321評論 1 293
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,128評論 3 398
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,347評論 2 377

推薦閱讀更多精彩內(nèi)容