非常老的一篇文章,拿來練手。發現去年已經出了新的深度神經的文章,這篇翻譯就暫時擱置了……
油管視頻推薦系統
作者:James Davidson Google Inc davidson@google.com | Benjamin Liebald Google Inc liebald@google.com | Junning Liu Google Inc ljn@google.com | Palash Nandy Google Inc
palash@google.com | Taylor Van Vleet Google Inc tvv@google.com
綱要
本文討論的是這個世界上最受歡迎的線上視頻社區---油管,所使用的視頻推薦系統。這個系統以用戶在網站上的行為為基礎,給他們推送個性化的視頻集。本文討論了一些系統面臨的獨特挑戰以及我們的解決方法。此外,我們提供了用來測試和調整新算法的實驗和評估框架的細節。
1.簡介
個性化推薦是今天信息富環境下,信息檢索和內容發現的一個重要手段。結合純檢索(查詢)和瀏覽(直接或間接),個性化推薦可以讓用戶們在面對海量信息的時候,可以高效滿意地找到他們想要的信息。作為世界上最大的且最受歡迎的在線視頻社區,且擁有大量用戶自產內容。油管在內容發現和推薦方面面臨著一些獨特的機遇與挑戰。
成立于2005年2月的油管快速地成長為世界最受歡迎的視頻網站。用戶們到油管上發現、觀看和分享原創視頻。油管為人們提供了可以解除全球視頻內容的平臺,并且為內容創造者們扮演了內容分發的角色。每日有百萬的視頻被數百萬用戶觀看,單日播放量超過十億。每分鐘都有用戶上傳超過24小時時長的視頻到油管。
這篇文章中,我們會展示推薦系統,這個系統基于登陸用戶曾經的線上行為,推送個性化的視頻集(有限的推薦同樣適用于非登陸用戶,我們在這篇文章里主要探討登陸用戶)。推薦系統應用在兩個主要部分:油管首頁(www.youtube.com)和瀏覽頁(www.youtube.com/vedios)。關于主頁如何展示推薦視頻的例子可見圖1
[圖片上傳中。。。(1)]
圖1:油管首頁的推薦截圖
1.1 目標
用戶因為具體或不具體的原因訪問油管,比如:為了看一個他們在別處找到的視頻(直接導航),為了找到圍繞一個主題的特定視頻(搜索和目標導向性瀏覽),或者只是為了娛樂而看他們覺得有趣的視頻。個人視頻推薦是解決最后一個用例的方法,這個用例我們稱之為“未述需求”。
例如,這個系統的目標就是停個性化推薦,從而幫助用戶找到跟他們的興趣先關的高質量視頻。為了維護用戶娛樂與沉浸體驗,推薦不可避免地要定期更新,并且這些推薦要反應出用戶在網站的行為。這些推薦還意在反映出網站上廣泛的題材內容。
我們的推薦系統目前的形式是top-N推薦系統而不是預測系統[4]。在本篇論文的3.0章節,我們會探討如何衡量推薦系統的成功。 油管推薦系統的一個額外主要目標是維護用戶隱私,并且對后臺系統中的用戶數據進行明確的控制。我們在本文的2.5章節會討論如何達成這個目標。
1.2 挑戰
油管網站的許多方面,給用戶推薦有趣和個性化相關視頻帶來了獨特的挑戰:用戶自己上傳的視頻通常沒有或者非常差的元數據。視頻語料庫的大小基本與活躍用戶的數量量級相同。此外,油管上的視頻大部分是短視頻(10min 以下的長度)。因此,用戶的交互行為相對短暫且混雜。與之相比的是,在電影租賃或購買的網站上,如Netflix或亞馬遜租借電影或購買東西,用戶的交互行為則非常明確地體現了用戶的意圖。另外,油管上有趣的視頻,從上傳到病毒式傳播的生命周期非常短,這就要求推薦系統的內容要保持新鮮度。