筆者在之前的文章中介紹過使用keras搭建一個基于矩陣分解的推薦系統,而那篇文章所介紹的方法可能只是一個龐大推薦系統中的一小環節。而對于工業級別的推薦系統，面對極其龐大的產品種類數量，一步就輸出符合用戶心意的產品可能夠嗆，最好的方式應該是從巨大的產品類別之中粗篩出一些靠譜的待推薦產品，然后再從粗篩的產品中精挑細選出要推薦給用戶的最終產品。
工業級別的推薦系統簡介
工業級別的推薦系統的架構圖如下圖所示，大致分為兩個階段：
- 召回階段：也就是粗篩階段，由于涉及到的產品數量巨大，大的公司都是千萬級別，甚至上億級別的產品數量，此階段的模型應該盡量簡單，特征維度也盡量少，這樣方便快速篩選出一些待推薦的產品。
-
排序階段：即對上一階段粗篩出來的待推薦產品進行精挑細選，此階段為了推薦出符合用戶心意的產品，需要模型盡量的準確。而且由于粗篩階段將數據量減少到幾千，甚至幾百級別，所以使用復雜模型，并且特征維度也可以盡量豐富，盡量多一些，這樣訓練出來的模型才能有較強的性能。
推薦系統的架構圖
而接下來我要介紹的FM（Factorization Machine）算法，不僅在召回階段有用武之地，在排序階段也是很拿得出手的推薦模型。
FM（Factorization Machine）算法簡介
Factorization Machine的中文叫因子分解機，FM算法的最強特點就是考慮到了特征的二階組合——即特征兩兩組合形成一個新的特征。在產品推薦，CTR預估等任務中，特征相互組合很可能會得到一個特別強的新特征。接下來我們從FM算法的公式來了解一下此算法的精髓：
如果我們單看FM算法的前面一部分： ,這不就是一個Logistics回歸模型嗎，確實沒錯，FM算法的前半部分就是Logistics回歸，算法的后半部分才體現出FM的特征組合的思想：
- 其中
可以理解成特征
和特征
的另外一種向量表示，
-
- Logistics回歸 + 特征之間的兩兩組合，最后給每個兩兩組合而來的新特征乘上一個權重值，就實現了FM算法的特征的二階組合的思想。
通過下圖我們可以將FM算法的公式轉化為：
不要小看了公式的改寫這一步，公式的改寫這一過程會帶來了算法時間復雜度的下降，加速算法的運行。接下來我們就嘗試使用keras實現一下FM算法。
FM算法實戰
首先導入畢要的python 包，導入 sklearn中乳腺癌的分類任務數據（筆者只是為了實現算法，所以只找了個簡單的現成數據跑一跑）。
import keras
from keras.layers import Layer, Dense, Dropout,Input
from keras import Model,activations
from keras.optimizers import Adam
import keras.backend as K
from sklearn.datasets import load_breast_cancer
FM層的定義，其中call函數中定義了FM的主要實現部分。
class FM(Layer):
def __init__(self, output_dim=30, activation="relu",**kwargs):
self.output_dim = output_dim
self.activate = activations.get(activation)
super(FM, self).__init__(**kwargs)
def build(self, input_shape):
self.wight = self.add_weight(name='wight',
shape=(input_shape[1], self.output_dim),
initializer='glorot_uniform',
trainable=True)
self.bias = self.add_weight(name='bias',
shape=(self.output_dim,),
initializer='zeros',
trainable=True)
self.kernel = self.add_weight(name='kernel',
shape=(input_shape[1], self.output_dim),
initializer='glorot_uniform',
trainable=True)
super(FM, self).build(input_shape)
def call(self, x):
feature = K.dot(x,self.wight) + self.bias
a = K.pow(K.dot(x,self.kernel), 2)
b = K.dot(x, K.pow(self.kernel, 2))
cross = K.mean(a-b, 1, keepdims=True)*0.5
cross = K.repeat_elements(K.reshape(cross, (-1, 1)), self.output_dim, axis=-1)
return self.activate(feature + cross)
def compute_output_shape(self, input_shape):
return (input_shape[0], self.output_dim)
數據載入
載入sklearn中乳腺癌的分類任務數據。
data = load_breast_cancer()["data"]
target = load_breast_cancer()["target"]
模型構建
這里我采用了一層FM層，一層15個神經元的隱層構建了一個兩層的網絡模型，Loss 采用的是平方誤差損失（mse），當然也可以采用交叉熵損失（cross entropy）。
K.clear_session()
inputs = Input(shape=(30,))
out = FM(20)(inputs)
out = Dense(15,activation="sigmoid")(out)
out = Dense(1,activation="sigmoid")(out)
model = Model(inputs=inputs, outputs=out)
model.compile(loss='mse',
optimizer=adam(0.0001),
metrics=['accuracy'])
model.summary()
模型訓練
定義好batch_size 和訓練輪數，就可以將模型跑起來了。
model.fit(data, target,
batch_size=1,
epochs=100,
validation_split=0.2)
下圖訓練的截圖，由于數據集太小，太簡單這里也沒有對比FM和其他算法的性能差異，不過看網上的博客教程，FM在應對特征豐富的推薦任務時有著很不錯的效果。畢竟考慮到了特征之間的組合關系。
結語
筆者之前也介紹過GBDT+ LR，Wide and deep等推薦算法，這次介紹的FM算法也是推薦算法中比較常用的算法，他們都有一個共同的特點——就是這些算法都在尋找特征之間的組合關聯，從而實現推薦算法性能的提升。萬事萬物都存在聯系，確實只有算法能夠洞察事物（特征）之間聯系，才有可能做出更精確的推薦決策。
參考文獻
https://zhuanlan.zhihu.com/p/58160982
https://github.com/Hourout/CTR-keras
