? ? ? 發(fā)現(xiàn)看了挺久時(shí)間的聚類算法，沒(méi)有總結(jié)，很容易忘，文章主要是基于【1】來(lái)講解，因?yàn)橹饕褪强戳诉@篇論文，其他資料以及論文都是延展出來(lái)看的。

? ? ? 到目前為止基于深度學(xué)習(xí)的增量聚類還研究的不多，先講一下現(xiàn)在基于深度神經(jīng)網(wǎng)絡(luò)的聚類（批量數(shù)據(jù)處理），傳統(tǒng)神經(jīng)網(wǎng)絡(luò)大都是基于有監(jiān)督的，并且通過(guò)BP算法來(lái)逼近全局最佳編碼。06年之前，bp被認(rèn)為在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的時(shí)候會(huì)出現(xiàn)梯度消失的問(wèn)題，即前面隱藏層訓(xùn)練的速度會(huì)慢于后面的隱藏層，這使得深度學(xué)習(xí)事實(shí)上并不能利用多個(gè)隱藏層，這一問(wèn)題在06年被解決，加拿大多倫多大學(xué)教授Geoffrey Hinton提出來(lái)利用稀疏自編碼機(jī)進(jìn)行 “ 逐層無(wú)監(jiān)督預(yù)訓(xùn)練 ” ，從而使得深度學(xué)習(xí)再一次變?yōu)榻裹c(diǎn)。

? ? ? ? 實(shí)際上在無(wú)監(jiān)督的深度學(xué)習(xí)上有兩條主線：①自編碼機(jī)（AE）-------->稀疏自編碼機(jī)（SAE）

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ②限制性玻爾茲曼機(jī)（RBM）--------->深度信念網(wǎng)絡(luò)（DBN）

? ? ? ? 關(guān)于這兩條主線，https://www.zhihu.com/question/41490383知乎上科言君的回答非常的好，我所寫(xiě)的這方面背景內(nèi)容大部分來(lái)自于此，讀者可以參考。（http://www.fx361.com/page/2017/0907/2227848.shtml 同樣再給個(gè)鏈接，這里對(duì)于以上兩條主線都有詳細(xì)講解）

? ? ? ? 然后在基于深度學(xué)習(xí)的聚類算法里面，13年給出了一個(gè)專利【2】，專利實(shí)際上就是基于深度信念網(wǎng)絡(luò)和稀疏自編碼機(jī)的聚類。

? ? ? ? 講到這里實(shí)際上背景基本交代清楚了，下面探討一下深度學(xué)習(xí)批量聚類算法的優(yōu)缺點(diǎn)

? ? 缺點(diǎn)：①以上交代的能實(shí)現(xiàn)的深度學(xué)習(xí)的聚類算法都是對(duì)數(shù)據(jù)批量處理的，即一次性給定所需訓(xùn)練的數(shù)據(jù)，模型訓(xùn)練好以后一旦有新的數(shù)據(jù)進(jìn)來(lái)，這時(shí)候就需要將所有數(shù)據(jù)合并重新訓(xùn)練，這就導(dǎo)致了新模型對(duì)之前訓(xùn)練的老模型的信息丟失了，這便是著名的 “遺忘災(zāi)難”，所以對(duì)于深度學(xué)習(xí)的增量聚類的研究就顯得很有必要，具體的方法將在后面做詳細(xì)講解。

? ? ? ? ? ? ? ? ②在深度訓(xùn)練大數(shù)據(jù)的時(shí)候會(huì)出現(xiàn)時(shí)間過(guò)長(zhǎng)的問(wèn)題，bp算法耗時(shí)而且很容易出現(xiàn)梯度消失。

? ? 優(yōu)點(diǎn)：①在專利【2】上指出，深度學(xué)習(xí)聚類算法提出的背景是因?yàn)楝F(xiàn)在流行的一些聚類算法如基于密度聚類，K-means，譜聚類等在大數(shù)據(jù)的情況下因?yàn)橄膬?nèi)存較大使得在實(shí)際應(yīng)用中特別的浪費(fèi)資源。在大數(shù)據(jù)下，使用了深度學(xué)習(xí)聚類以后能夠在占用較小的內(nèi)存的情況下還能擁有更高的聚類精度。

? ? ? 下面正式開(kāi)始講基于改進(jìn)神經(jīng)網(wǎng)絡(luò)的增量聚類，此處主要是在以往經(jīng)驗(yàn)的基礎(chǔ)上作者提出的新的增量神經(jīng)網(wǎng)絡(luò)，相比于同樣可以做聚類的傳統(tǒng)增量神經(jīng)網(wǎng)絡(luò)ART而言，這個(gè)神經(jīng)網(wǎng)絡(luò)能夠成功的避免遺忘災(zāi)難（意為ART并沒(méi)有完全避免遺忘災(zāi)難），同樣，此網(wǎng)絡(luò)在統(tǒng)計(jì)學(xué)上有意義（現(xiàn)有的神經(jīng)網(wǎng)絡(luò)和ART的激活函數(shù)大都基于經(jīng)驗(yàn)式，并沒(méi)有統(tǒng)計(jì)學(xué)上的意義）。

我們知道傳統(tǒng)神經(jīng)元和神經(jīng)系統(tǒng)模型如上所示：激活函數(shù)為sigmoid函數(shù)，只要是個(gè)類S型函數(shù)都可，神經(jīng)元之間的突觸連接權(quán)重Wi為數(shù)值。

? ? ? ? 但是作者新給出的神經(jīng)元激活函數(shù)和突觸連接權(quán)重如上圖所示f(x)是一個(gè)

? ? ? ①傳統(tǒng)激活函數(shù)的意義是激活的神經(jīng)元是釋放出‘’1"這個(gè)信號(hào)，未激活的釋放"0"這個(gè)信號(hào)，而這個(gè)激活函數(shù)的意義是當(dāng)神經(jīng)元激活時(shí)候釋放"1"信號(hào)，當(dāng)未激活時(shí)則不連接。?

? ? ? ②突觸連接權(quán)重W的等式和上圖圖像類似，其中Si表示小突觸數(shù)（可以理解為突觸一大條w是由許許多多小的突觸合成的）。實(shí)際上突觸的概念在神經(jīng)學(xué)上也指出神經(jīng)元之間的突觸并不是只有一條，傳統(tǒng)神經(jīng)元模型里把神經(jīng)元之間的突觸連接直接簡(jiǎn)化為一條，這隱含著一個(gè)信息，神經(jīng)元之間的突觸總強(qiáng)度是所有小突觸的強(qiáng)度之和。顯然這個(gè)是不對(duì)的，不符合神經(jīng)學(xué)。實(shí)際上研究表明，神經(jīng)元之間的突觸連接的總強(qiáng)度是和當(dāng)前連接強(qiáng)度成負(fù)相關(guān)的，即突觸總強(qiáng)度W是非線性變化的。

? ? ? 給定了激活函數(shù)和突觸權(quán)重，實(shí)際上在尋找網(wǎng)絡(luò)全局最佳編碼的時(shí)候該怎么做，上述各種神經(jīng)網(wǎng)絡(luò)都是在基于BP反向傳播的方法來(lái)進(jìn)行調(diào)整的，我們說(shuō)了這個(gè)方法比較耗時(shí)，所以作者在文中提到了一個(gè)直接通過(guò)計(jì)算得到網(wǎng)絡(luò)的全局最優(yōu)編碼，這樣就會(huì)使得網(wǎng)絡(luò)的運(yùn)行變得極快，因?yàn)樗恍枰M(jìn)行一次訓(xùn)練。（私心想著作者可能就是這個(gè)想法才讓文章發(fā)表出去了吧！?。。?/p>

在這三個(gè)等式里面，前兩個(gè)等式已經(jīng)交代過(guò)，第三個(gè)等式的意思是表示神經(jīng)元之間的突觸總數(shù)是恒定的（但是突觸總強(qiáng)度W是不恒定的，ART里面規(guī)定了W是恒定的反而突觸的數(shù)量不恒定，這反而導(dǎo)致了不完全避免"遺忘災(zāi)難"，具體請(qǐng)看論文理解，筆者實(shí)力有限，描述不出來(lái)）。

? ? 這樣通過(guò)對(duì)這個(gè)資源優(yōu)化方程組的解得到全局最優(yōu)編碼。

? ? ? 下面講一下神經(jīng)網(wǎng)絡(luò)的增量設(shè)定，該神經(jīng)網(wǎng)絡(luò)引入了"側(cè)向競(jìng)爭(zhēng)"和"勝者得全"機(jī)制，有看過(guò)SOM和ART的讀者應(yīng)該都清楚這個(gè)機(jī)制，這個(gè)機(jī)制是能夠進(jìn)行增量訓(xùn)練的基礎(chǔ)，筆者拋磚引玉，大家應(yīng)該知道怎么做了，這里不再贅述。

基于此神經(jīng)網(wǎng)絡(luò)的聚類模型已由上述給出，大家可以參考著去實(shí)現(xiàn)，筆者若實(shí)踐了該網(wǎng)絡(luò)會(huì)給出相關(guān)代碼。

如果有質(zhì)疑該網(wǎng)絡(luò)的，以上是該聚類算法（文章稱Incnet）在批量聚類時(shí)候和K-means以及EM的對(duì)比，相信它的效率已經(jīng)足以證明這個(gè)網(wǎng)絡(luò)的有效性。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 總結(jié)

? ? ? ? 作者也在文中表明，它給出了這個(gè)網(wǎng)絡(luò)的理論基礎(chǔ)，提出了這樣一個(gè)方向，它可以研究的地方還有很多，因?yàn)樗粌H有擴(kuò)展到深度的潛力，還有不用BP的優(yōu)點(diǎn)，我們知道傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在單層時(shí)候解決不了異或問(wèn)題，而它可以（具體請(qǐng)看論文，看懂了的能否在評(píng)論下予以講解謝謝！?。?/p>

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? reference

【1】增量式神經(jīng)網(wǎng)絡(luò)聚類算法

劉培磊，唐晉韜，謝松縣，王挺

國(guó) 防 科 技 大 學(xué) 學(xué) 報(bào)

2016 年 10 月第 38 卷 第 5 期

( 1． 國(guó)防科技大學(xué) 計(jì)算機(jī)學(xué)院，湖南 長(zhǎng)沙 410073;

2． 國(guó)防信息學(xué)院 信息化建設(shè)系 信息資源管理教研室，湖北 武漢 430010)

【2】一種基于深度學(xué)習(xí)的聚類算法? 專利號(hào)：CN 103530689 A

申請(qǐng)?zhí)枺?01310530626.9? 申請(qǐng)日：2013.10.31 公布日：2014.01.22

申請(qǐng)人：中國(guó)科學(xué)院自動(dòng)化研究所

地址：100190 北京市海淀區(qū)中關(guān)村東路95號(hào)

發(fā)明人：譚鐵牛 王亮 黃永幀 宋純鋒

專利代理機(jī)構(gòu)： 中科專利商標(biāo)代理有限責(zé)任公司 11021

代理人：宋焰琴

Int。CI。

G06N 3/08(2006.01)

G06K 9/62(2006.01)