這是一篇結(jié)合embedding和cluster任務(wù)的論文,具體模型分為兩部分
1 使用DNN生成每個節(jié)點xi對應(yīng)的embedding zi,然后計算zi屬于每一個cluster center中心的概率(soft assignment)。這個相似度可以通過以下公式來計算:
2.png
其中,zi是通過f()這個神經(jīng)網(wǎng)絡(luò)計算出來的embedding,而qij可以表示節(jié)點i屬于cluster j的概率(soft assignment)。
2 第二步是通過最小化第一步的q和一個輔助分布的KL散度,使用BP來達到優(yōu)化DNN和重新調(diào)整cluster center的目的。
目標(biāo)函數(shù)如下:
3.png
優(yōu)化方法:
通過反向傳播優(yōu)化DNN,通過計算梯度來調(diào)整cluster的中心,公式如下:
4.png