1.數(shù)據(jù)集MovieLens

MovieLens數(shù)據(jù)集包含多個用戶對多部電影的評級數(shù)據(jù)，也包括電影元數(shù)據(jù)信息和用戶屬性信息。這個數(shù)據(jù)集經(jīng)常用來做推薦系統(tǒng)，機器學(xué)習(xí)算法的測試數(shù)據(jù)集。尤其在推薦系統(tǒng)領(lǐng)域.

數(shù)據(jù)集的下載地址為：http://files.grouplens.org/datasets/movielens/，有好幾種版本，對應(yīng)不同數(shù)據(jù)量，本文所用的數(shù)據(jù)為ml-latest-small.zip。本文主要使用其中ratings.csv、movies.csv兩個數(shù)據(jù)表：

ratings數(shù)據(jù)
userId: 每個用戶的id
movieId: 每部電影的id
rating: 用戶評分，是5星制，按半顆星的規(guī)模遞增(0.5 stars 5 stars)
timestamp: 自1970年1月1日零點后到用戶提交評價的時間的秒數(shù)
數(shù)據(jù)排序的順序按照userId，movieId排列的。

movies數(shù)據(jù)
movieId:每部電影的id
title:電影的標(biāo)題
genres:電影的類別

關(guān)于協(xié)同過濾算法的知識點總結(jié)，見我另一篇文章：http://www.lxweimin.com/p/d6b5ee721aea。同時，這篇文章涉及到的python語法、python庫numpy、pandas、sklearn等的使用方法這里也不做贅述，基礎(chǔ)較差的童鞋請參考相應(yīng)的官方文檔閱讀此文。

2.數(shù)據(jù)處理

首先，我們定義我們數(shù)據(jù)的路徑，并使用pandas讀入：

import math
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split

pd.set_option('display.max_rows', 500)
pd.set_option('display.max_columns', 500)
pd.set_option('display.width', 1000)

moviesPath = ".\\data\\movies.csv"
ratingsPath = ".\\data\\ratings.csv"
moviesDF = pd.read_csv(moviesPath, index_col=None)
ratingsDF = pd.read_csv(ratingsPath, index_col=None)

這里我們按照4:1的比例將數(shù)據(jù)集進(jìn)行拆分，同時打印出總的用戶和電影數(shù)量、訓(xùn)練集中的用戶和電影數(shù)量以及測試集中的用戶和電影數(shù)量：

trainRatingsDF, testRatingsDF = train_test_split(ratingsDF, test_size=0.2)
print("total_movie_count:" + str(len(set(ratingsDF['movieId'].values.tolist()))))
print("total_user_count:" + str(len(set(ratingsDF['userId'].values.tolist()))))
print("train_movie_count:" + str(len(set(trainRatingsDF['movieId'].values.tolist()))))
print("test_movie_count:" + str(len(set(testRatingsDF['movieId'].values.tolist()))))
print("train_user_count:" + str(len(set(trainRatingsDF['userId'].values.tolist()))))
print("test_user_count:" + str(len(set(testRatingsDF['userId'].values.tolist()))))

結(jié)果如下：

total_movie_count:9066
total_user_count:671
train_movie_count:8381
train_user_count:671
test_movie_count:4901
test_user_count:671

下面，使用pivot_table得到用戶-電影的評分矩陣，本文中得到610*8981的評分矩陣

trainRatingsPivotDF = pd.pivot_table(trainRatingsDF[['userId', 'movieId', 'rating']], columns=['movieId'],
                                 index=['userId'], values='rating', fill_value=0)

得到電影id、用戶id與其索引的映射關(guān)系：

# enumerate返回窮舉序列號與值
# 8981部電影
moviesMap = dict(enumerate(list(trainRatingsPivotDF.columns)))
# 610個用戶
usersMap = dict(enumerate(list(trainRatingsPivotDF.index)))
# 矩陣變成list 每一行變成list的一個值 長度為610 每個值大小為8981
ratingValues = trainRatingsPivotDF.values.tolist()

3.用戶相似度計算

利用余弦相似度計算用戶之間的相似度：

def calCosineSimilarity(list1, list2):
    res = 0
    denominator1 = 0
    denominator2 = 0
    for (val1, val2) in zip(list1, list2):
        res += (val1 * val2)
        denominator1 += val1 ** 2
        denominator2 += val2 ** 2
    return res / (math.sqrt(denominator1 * denominator2))

計算用戶之間的相似度矩陣（610*610）：

# 根據(jù)用戶對電影的評分，來判斷每個用戶間相似度
userSimMatrix = np.zeros((len(ratingValues), len(ratingValues)), dtype=np.float32)
for i in range(len(ratingValues) - 1):
    for j in range(i + 1, len(ratingValues)):
        userSimMatrix[i, j] = calCosineSimilarity(ratingValues[i], ratingValues[j])
        userSimMatrix[j, i] = userSimMatrix[i, j]

接下來，我們要找到與每個用戶最相近的K個用戶，用這K個用戶的喜好來對目標(biāo)用戶進(jìn)行物品推薦，這里K=10，下面的代碼用來計算與每個用戶最相近的10個用戶：

# 找到與每個用戶最相近的前K個用戶
userMostSimDict = dict()
for i in range(len(ratingValues)):
    userMostSimDict[i] = sorted(enumerate(list(userSimMatrix[i])), key=lambda x: x[1], reverse=True)[:10]

4.推薦電影

得到了每個用戶對應(yīng)的10個興趣最相近的用戶之后，我們根據(jù)下面的公式計算用戶對每個沒有觀看過的電影的興趣分：

代碼如下：

# 用這K個用戶的喜好中目標(biāo)用戶沒有看過的電影進(jìn)行推薦
userRecommendValues = np.zeros((len(ratingValues), len(ratingValues[0])), dtype=np.float32)  # 610*8981

for i in range(len(ratingValues)):
    for j in range(len(ratingValues[i])):
        if ratingValues[i][j] == 0:
            val = 0
            for (user, sim) in userMostSimDict[i]:
                val += (ratingValues[user][j] * sim)
            userRecommendValues[i, j] = val

接下來為每個用戶推薦10部電影：

userRecommendDict = dict()
for i in range(len(ratingValues)):
    userRecommendDict[i] = sorted(enumerate(list(userRecommendValues[i])), key=lambda x: x[1], reverse=True)[:10]

將以上代碼中使用的索引首先轉(zhuǎn)換為用戶id與電影id，再將電影id轉(zhuǎn)換成電影名：

# 將一開始的索引轉(zhuǎn)換為原來用戶id與電影id
userRecommendList = []
for key, value in userRecommendDict.items():
    user = usersMap[key]
    for (movieId, val) in value:
        userRecommendList.append([user, moviesMap[movieId]])

# 將推薦結(jié)果的電影id轉(zhuǎn)換成對應(yīng)的電影名
recommendDF = pd.DataFrame(userRecommendList, columns=['userId', 'movieId'])
recommendDF = pd.merge(recommendDF, moviesDF[['movieId', 'title']], on='movieId', how='inner')
print(recommendDF.tail(10))

最后，在經(jīng)歷一段較漫長的時間后，可以得到結(jié)果：

image

5.小結(jié)

本文代碼實現(xiàn)起來比較簡單，最后的結(jié)果我們可以看出UserCF在用戶特征維度較高（本文有8981維）的情況下，算法效率還是挺低的。