近日，視頻網站YouTube宣布，其全球視頻日播放量已經超過10億小時的里程碑，每分鐘新上傳視頻400小時，相當于1天有65年時長的節目內容更新。這無疑是一個非常龐大的數據，窮我們一生不吃不喝，也不過能看完其一天的視頻上傳量。
這還僅僅是YouTube一家視頻網站，全球范圍內所有的視頻網站加起來，其數據量已經大到我們無法想象，那么問題來了，這么多的視頻，是如何存儲的，那得多少硬盤來裝??？
海量硬盤加壓縮去重來解決大量數據存儲
首先說明一個問題，來普及一下數據量級的問題。1MB=1024KB，1GB=1024MB，1TB=1024GB，1PB=1024TB，1EB=1024PB，1ZB=1024EB，1YB=1024ZB，1BB=1024YB，1NB=1024BB，1DB=1024NB。其中我們手機拍攝一張照片約3M，一個高清電影約2G，1TB的硬盤，可以存儲500部高清電影。
很多大型網站其實是有自己的專屬機房，也就是現在動輒占地幾千畝的大型數據中心。如百度已經在山西陽泉建了云計算中心了，占地2000多畝，基本都是存儲。我們日常用的百度網盤，里面的數據都存儲在了百度的機房里。
大型的企業網站如愛奇藝、騰訊等公司，都有專有機房，這些機房內具有大量硬盤。畢竟相對來說，硬盤的價錢真實是太低了。想想我們只需求四百塊錢就能購置1T的硬盤資源，對于大型公司來說，完整有準備大量硬盤的實力。
在用戶上傳文件或者視頻之后，一般會有專門的轉碼緊縮效勞器。用來把上傳的文件進行壓縮，所以有時可以看到，本人上傳的高清視頻，在停止查看時，明晰度并不是很高，這是由于停止壓縮的效果。
而在真正保管到硬盤之前，需求對上傳的文件去重。檢測硬盤中是會否曾經有相關的文件了。假如有的話就直接指定過去了。這也就是為什么很多網盤上面，會有秒傳的功用，好幾G的文件，幾面就能上傳完成就是這個原理。
緩存熱點數據來保證數據高效分發
對于視頻網站來說，絕大部分視頻都是冷門資源，用戶觀看帶有非常強的選擇性。如當前正在熱播的《人民的名義》，在一定的時間段類，可能用戶都去看這部電視劇，對于這種熱點數據，存儲上主要運用散布式存儲加散布式文件系統，保證高并發高帶寬，存儲底層會選用分層技術。
很多視頻點擊量爆高，此時系統會判別此類數據，并存儲到大容量緩存中，外加外置UPS維護，那么當視頻沒人看的時分，就自動遷移到廉價的7200轉或5400轉的HDD存儲層中。如今的硬盤最大做到60TB了，企業級大容量氦氣盤曾經有10TB、12TB了。特別老的視頻文件且為普通用戶上傳的會被后臺剖析平臺挑選出來刪除來釋放空間。
可能熱點數據在視頻網站龐大的存儲資源庫中，只占據了不到1%的比重，這個時候，網站只需要將高質量帶寬分配給這些熱點數據即可，并不會明顯影響到用戶的實際使用。如《人民的名義》現在是絕對熱點，可能有1000萬人同時觀看；而BBC紀錄片《地球脈動》在剛推出時是絕對熱點，現在隨著大家都看過了，每天只有很小一部分人觀看。網站根據數據請求量，來酌情分配帶寬，并會將熱點數據緩存起來，甚至分發到離你家很近很近的機房，這樣速度會很快，保證優良的用戶使用體驗。
可以理解為，有很多貨物需要運輸，但網民經常購買的物品帶有一定的規律性，比如冬天北京霧霾天的時候，買空氣凈化器的人非常多，這個時候，網站會在倉庫里放很多空氣凈化器，一旦有人購買就可以直接運輸出去；而到了春天空氣非常好，買空氣凈化器的人銳減，倉庫就會只放很少的庫存。通過對于熱點的把控，可以高效地提升整個系統的運行效率和用戶體驗。
總結起來就是，網站會持續購買大量硬盤來存儲源源不斷的數據，但數據畢竟是有限的，通過壓縮、去重等手段，可以有效減輕存儲壓力；再通過對于熱點內容的緩存，來提升用戶的實際使用體驗。大數據時代，大家都知道數據就是金錢，和未來可以賺到的錢相比，眼前幾百塊錢一個的硬盤，網站還是舍得花錢買的。
