【機(jī)器學(xué)習(xí)中的數(shù)學(xué)】函數(shù)空間

數(shù)學(xué)的空間

數(shù)學(xué)中的空間概念是要有研究工作的對象和遵循的規(guī)則。其中,包含元素和結(jié)構(gòu)。
如線性結(jié)構(gòu)中,定義加法和數(shù)乘;拓?fù)浣Y(jié)構(gòu)中,要有距離、范數(shù)、開集三要素。

距離

范數(shù)是具有“長度”概念的函數(shù)。
距離、范數(shù)可以指向量的距離,我們可以定義以下幾種向量的距離:

  • d1(x,y)=sqrt((x1-y1)^2 + ... + (xn-yn)^2)
  • d2(x,y) = max{|x1-y1|, ..., |xn-yn|}
  • d3(x,y) = |x1-y1|+ ...+ |xn-yn|

距離、范數(shù)也可以指曲線的距離,即函數(shù)f(x)到函數(shù)g(x)的距離:

  • d1(f,g) = ∫ (f(x)-g(x))^2 dx
  • d2(f,g) = max |f(x)-g(x)|
  • d3(f,g) = ∫ (f(x)-g(x))^k dx
    以上x都定義在[a,b]之間

接下來我們要去定義距離的抽象概念。
我們要知道,如果一個對象不是具體的,是抽象的,是泛指的,那么我們就抓最重要的屬性來描述這個對象,而舍棄其他的屬性。

距離的定義

設(shè)X是非空集合,任給一對這一集合的元素x、y,都給定一個實數(shù),d(x,y)與它們對應(yīng),并且滿足:
(1) 非負(fù)性:d(x,y)≥0 ; d(x,y)=0, then x=y
(2) 對稱性:d(x,y)=d(y,x)
(3) 三角不等式:d(x,y) ≤ d(x,z)+d(z,y)
則稱d(x,y)是兩點之間的距離。

tips:
為什么曲線距離中可以用maximum來定義距離,而不能用minimum來定義距離。
因為如果兩條曲線相交時,對|f(x)-g(x)|取最小,就等于0,那么按照距離的定義,那么f(x)=g(x),這顯然違背了距離的定義。所以并不是隨意的度量方式都可以作為一種距離的定義的。

范數(shù)

范數(shù)的定義

設(shè)||x||是R^n的范數(shù),若滿足:
(1)||x|| ≥ 0, for all x∈R^n; ||x||=0 is equal to x=0
(2)||αx||=|α|·||x||, for all α∈R, x∈R^n
(3)||x+y|| ≤ ||x||+||y||, for all x,y ∈R^n
這里范數(shù)可以簡單看成到零點的距離,并且多了第(2)條

tips:
由范數(shù)可以定義距離:d(x,y)=||x-y||
但是由距離不一定可以定義范數(shù),例如:||x||=d(0,x),但||αx||=d(0,αx)≠|(zhì)α|·||x||
之所以有這樣的區(qū)別,我們可以簡單理解成,范數(shù)是帶有限制條件的距離,是更加具體的距離,而距離比范數(shù)要少一些東西。

除了距離,我們還需要線性結(jié)構(gòu)。
在線性空間中,向量定義了加法和數(shù)乘運(yùn)算,它們還滿足加法交換律、加法結(jié)合律、負(fù)元、零元;數(shù)乘的交換律、單位一、數(shù)乘與加法交換律。

賦予范數(shù)或距離的集合分別稱為:賦范空間和度量空間;若在其上再加上線性結(jié)構(gòu)稱為線性賦范空間和線性度量空間。

內(nèi)積空間

復(fù)返空間有向量的模長,即范數(shù)。但是還缺乏一個很重要的概念——兩個向量的夾角,為克服這一缺陷,我們引入內(nèi)積。
內(nèi)積的定義:

設(shè)(x,y)∈R,且滿足:
(1)對稱性
(2)對第一變元的線性性
(3)正定性,大于等于零
則稱(x,y)為內(nèi)積。

  • 內(nèi)積可導(dǎo)出范數(shù),||x||^2 = (x,x),但是范數(shù)不能表示內(nèi)積,因為內(nèi)積比范數(shù)又多了東西。
  • 在線性空間上定義內(nèi)積,其空間稱為內(nèi)積空間。
  • 內(nèi)積可在空間中簡歷歐幾里得集合學(xué),例如交角、垂直和投影等,故習(xí)慣上稱為歐幾里得空間。
  • 1904年-1910年希爾伯特引入無窮實數(shù)組并定義內(nèi)積,其空間稱為內(nèi)積空間,再加上完備性,稱為希爾伯特空間(無窮維,而歐幾里得空間是n維)。
  • 1922年巴拿赫提出賦范空間,其完備性的賦范空間稱為巴拿赫空間。
    這里提到的完備性可以理解為,在該空間中的極限運(yùn)算中,它取極限不能跑出去。比如在有理數(shù)集中不行,必須到實數(shù)集中求極限得到的結(jié)果依然在實數(shù)集中。

拓?fù)淇臻g

歐幾里得幾何學(xué)需要內(nèi)積,但連續(xù)的概念不需要內(nèi)積,甚至不需要距離。
仔細(xì)考察連續(xù)的概念,其實他需要的是開集,即用開集可以定義連續(xù)。
原來的連續(xù)定義:

for all ε>0, exist δ>0, (|x-x_0|<δ) => (|f(x)-f(x_0)|<ε)

現(xiàn)在不在需要距離之后,我們來定義連續(xù)的概念:

記 x_0∈D belong to R,
x_0的鄰域定義為O(x_0,δ)={x; |x-x_0|<δ}
f(x_0)的鄰域定義為O(f(x_0),ε)={y; |y-f(x_0)|<ε}
那么可定義連續(xù)為
for all ε>0,exist δ>0, f(O(x_0,δ) ∩ D) belong to O(f(x_0),ε)
即把x_0的鄰域用f函數(shù)映射之后還在f(x_0)的鄰域里就稱為連續(xù)。

拓?fù)涞亩x:

設(shè)X是任一集合τ belong to 2^X,若滿足:
(1)τ內(nèi)任意個集合的并仍屬于τ
(2)τ內(nèi)有限個集合的交仍屬于τ
(3) X和空集屬于τ
則稱τ是X上的一個拓?fù)洹?br> 其中元素是X,規(guī)則是τ,稱(X,τ)為拓?fù)淇臻g;

總結(jié)

范數(shù)可以定義“強(qiáng)化”了的距離
內(nèi)積是較距離和范數(shù)又更多的內(nèi)涵
拓?fù)?/strong>是“弱化”了的距離

有了拓?fù)渚陀辛送負(fù)淇臻g,有了距離就有了度量空間,有了范數(shù)就有了賦范空間,有了內(nèi)積就有了內(nèi)積空間(已有線性結(jié)構(gòu))。
如果將上述空間再加上線性結(jié)構(gòu)就成為拓?fù)渚€性空間,線性度量空間,線性賦范空間,內(nèi)積空間。
如果對于線性賦范空間又加上完備性,那就是巴拿赫空間;內(nèi)積空間再加上完備性,那就是希爾伯特空間。
(完備性就是玩極限游戲不能玩出去~~)
數(shù)學(xué)中,函數(shù)空間是從集合X到集合Y的給定種類的函數(shù)的集合。它叫做空間是因為在很多應(yīng)用中,它是拓?fù)淇臻g或向量空間或這二者。

研究無窮維內(nèi)積空間或者無窮維線性賦范空間中映射的數(shù)學(xué)分支叫泛函分析,又分為線性泛函分析和非線性泛函分析。
研究拓?fù)淇臻g的數(shù)學(xué)分支叫拓?fù)鋵W(xué),又分為點集拓?fù)洹⒋鷶?shù)拓?fù)浜臀⒎滞負(fù)洹?/p>

參考資料

上海交通大學(xué)公開課:數(shù)學(xué)之旅

轉(zhuǎn)載請注明作者Jason Ding及其出處
Github博客主頁(http://jasonding1354.github.io/)
GitCafe博客主頁(http://jasonding1354.gitcafe.io/)
CSDN博客(http://blog.csdn.net/jasonding1354)
簡書主頁(http://www.lxweimin.com/users/2bd9b48f6ea8/latest_articles)
Google搜索jasonding1354進(jìn)入我的博客主頁

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容