探秘視頻編碼黑科技,窄帶高清2.0視覺模型及場景實戰

“黑科技”這個詞已經成為了今年云棲大會的關鍵詞。那么,在我們熟知的視頻領域,什么才算是黑科技呢?

我們知道,在通常情況下,視頻畫質越好帶寬費用肯定越高,帶寬又是視頻服務中占比很高的一項成本,很多開發者都在尋求效果與成本的平衡點。那么,有沒有一種技術,能夠在保證甚至提高視頻畫質的同時,降低帶寬呢?如果有的話,小編覺得這一點可以算是黑科技了吧。

今天,小編就帶大家來了解下剛剛在云棲大會上重磅發布的阿里云窄帶高清2.0,看看它是如何超越壓縮極限,在視覺效果和帶寬成本中找到平衡的。

首先,我們來看一張手機上的視頻截圖,這是優酷的標清模式,采用了窄帶高清的轉碼技術,分辨率是360P,碼率在300K。實際上在人眼感官上,已經達到了540P甚至720P的效果。


( 本截圖只做舉例展示使用,版權歸版權方所有 )

那窄帶高清究竟是什么呢?——一種神奇的視頻編碼技術

剛剛前文提到,帶寬成本是視頻服務中非常重的基礎設施成本,如何在保證視頻質量的前提下降低成本是整個鏈路中至關重要的一環。所以,在視頻服務中,視頻的編碼和解碼是非常重要的技術。

業內的轉碼技術從MPEG2,到H.264,到H.265大概是下圖的技術發展曲線,每隔十年的時間,視頻的壓縮率會提升一倍左右,平均下來,每年行業視頻壓縮率能提升只有不到7%。這種客觀發展規律之下,視頻行業內的從業者給對手造成壓倒性的競爭優勢已經變得非常困難。

視頻編解碼行業的出發點是信息論。所以,行業內視頻編解碼技術是基于信號失真度最小這一基準來做優化的。在無法逾越視頻轉碼客觀發展規律的前提下,阿里云視頻轉碼另辟蹊徑,研發了窄帶高清技術。簡單來說,窄帶高清是一套以人眼主觀感受最優為基準的視頻編碼技術。

它有幾個關鍵點:

1. 能和編碼標準的進步垂直發展,效果能夠疊加

2. 能把業界普遍浪費的帶寬節省下來

3. 窄能把業界普遍處理不好的復雜場景優化

4. 能讓普通觀眾一眼就能看出畫質的效果不同

我們先來了解下窄帶高清1.0

過去的一段時間,阿里視頻云一直強調可以通過技術來幫助客戶節省成本。以優酷為例,我們能達到什么效果,又能節省多少成本呢?

上表可以看出,老優酷的視頻配比是:1080P是3Mbps,720P是1.5Mbps,540P是0.8Mbps,我們可以加以聯想,好萊塢大片需要3Mbps,而1080P訪談節目僅僅需要1Mbps就足夠了。所以,有一些帶寬是被浪費的。使用了窄帶高清后的新優酷,有效節省了多余帶寬,1080P的平均碼率降低到1.6Mbps,720P的平均碼率為1.0Mbps,540P的平均碼率僅需要0.5Mbps。如此,窄帶高清技術每年能夠為優酷節省數億成本,這就是所謂的“窄帶”。

那“高清”是什么呢?高清是指能夠把業界普遍處理不好的復雜場景做漂亮。實際上,通常所說的“畫面太復雜,很難編”是因為碼率帶寬受限而產生的畫面模糊。那碼率受限的情況下,通過調整分辨率,窄帶高清可以將畫面處理的更細膩,提升美觀度,讓用戶體驗得以提升。

窄帶高清背后有兩套視覺模型

第一套是失真度和主觀感受的關系模型,當我們的保真度越來越高,人眼逐漸就沒有感受了,所以卡在失真度并沒有很大變化的臨界點上,就可以適當節省帶寬了,如上左圖。

第二套是分辨率和碼率的關系模型,不同的片子有不同的特征,拿優酷上典型的片子舉例:曉說是訪談類節目,畫面變化不大,1080P只需要1Mbps;三生三世十里桃花是節奏比較緩慢的電視劇,1080P需要2Mbps;極限挑戰這類綜藝節目,鏡頭迅速切換,1080P需要3Mbps,如右圖。有了這個模型之后,可以非常清楚的知道該分辨率下需要什么碼率去支撐,所以通過編解碼器的配置,就能夠達到相對優秀的視頻效果呈現,并且節省帶寬。

在云棲大會視頻多媒體分論壇上,阿里巴巴高級專家江文斐也表示:“我們沿著人眼視覺模型這條路接著往下走,省下來更多人眼看不到的信息,減少帶寬浪費,于是,我們有了窄帶高清2.0”

窄帶高清2.0主觀及客觀測評結果

早在窄帶高清2.0在正式發布之前,阿里云進行了一系列測評,具體形式是邀請30位測評者對不同編碼器和碼率情況下的視頻進行主觀打分,下圖是測評結果。

左圖是1080P編碼的RD曲線,橫軸是碼率,縱軸是主觀評分,大體規律是碼率越高,質量越好,主觀評分越高。我們可以看出,H.264窄帶高清2.0在高碼率情況下,比H.265表現要好,在低碼率情況下,比H.265弱,這兩者互有優劣。可以預想,H.265窄帶高清2.0應該是和下一代的標準互有優劣的。所以,窄帶高清2.0技術,可以提前進入下一代標準,突破了現有轉碼能力的上限。

換一個維度,右圖是跨清晰度的RD曲線,我們來看看在不同分辨率上窄帶高清的表現如何。橫軸每個點代表不同分辨率,縱軸還是主觀評分。同樣是1080P,窄帶高清2.0主觀評分要優于H.264。從橫線上對比看,H.264窄帶高清2.0的720P和普通H.265的1080P的質量水平相當。所以窄帶高清2.0,也可以超越分辨率觀感上限,低分辨率的情況下體驗高清視覺效果。

同時,除了人眼打分的主觀測評外,阿里視頻云也做了一些客觀的評測,方法是用 WMAF跑了所有視頻質量,如下圖,得出了和主觀測評高度一致的結論,也證明了這個結論的可信度。

視覺敏感度模型(HVS Sensitivity Model)淺析

上文提到,窄帶高清背后的視覺敏感度模型非常重要,那這個模型是如何建立起來的呢?首先,我們需要關注這三點:

1. 人眼容易忽視什么?

人眼有聚焦區域,當然也有脫焦區域。脫焦區域就是人眼比較容易忽略的、非敏感的區域,我們可以把這塊的處理省掉。除此之外,我們也可以去掉一些沒有聚集效應的小細節,以此省掉帶寬。

2. 人眼關注什么?

除了人眼聚焦的區域外,人眼還關注規則的紋理,這是我們一定要保護的區域,做一些調整優化,讓它更加突出,使畫面更有張力。

3. 人眼厭惡什么?

毛刺、馬賽克等模糊的地方,持續的閃動,一定是人眼主觀厭惡的內容。將這些細節處理得更平緩、清晰,能提升畫面整體觀感。

窄帶高清2.0實戰

我們先來看窄帶高清在優酷中的一些應用,以視頻網站B上的720P片源為例,優酷用540P的效果可以實現相當的效果,碼率則節省40%以上。

( 本截圖只做舉例展示使用,版權歸版權方所有 )

在游戲直播的場景中,畫面的處理相對比較復雜。左圖是1080P 2.9Mbps的視頻截圖效果。使用了窄帶高清2.0后,分辨率為720P的視頻截圖中,可以明顯看出畫面中的鋸齒變得圓潤,馬賽克變得清晰了。這個案例可以說明,在2.9Mbps的碼率下,窄帶高清可以匹配最合適的分辨率,并且實現更優的觀看體驗。

( 本截圖只做舉例展示使用,版權歸版權方所有 )

在秀場直播場景中,窄帶高清2.0可以有效節省帶寬。左邊是1.2Mbps的片源。右邊是600K的處理結果。兩相比較,頭發更清晰,并且附帶美顏效果。

( 本截圖只做舉例展示使用,版權歸版權方所有 )

當然,除了窄帶高清技術之外,阿里視頻云也擁有眾多行業領先技術,目前已經是國內視頻服務體量最大的云計算公司。江文斐在云棲大會上提到:“從阿里視頻云誕生以來,我們一直在致力于用自身的技術,去創造一些行業里獨有的東西。我們想通過阿里集團多年的技術沉淀,構建不一樣的視頻云服務,讓客戶也變得與眾不同。“

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 229,460評論 6 538
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,067評論 3 423
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 177,467評論 0 382
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,468評論 1 316
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,184評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,582評論 1 325
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,616評論 3 444
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,794評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,343評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,096評論 3 356
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,291評論 1 371
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,863評論 5 362
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,513評論 3 348
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,941評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,190評論 1 291
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,026評論 3 396
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,253評論 2 375

推薦閱讀更多精彩內容

  • 在保證視頻圖像質量的前提下,HEVC通過增加一定的計算復雜度,可以實現碼流在H.264/AVC的基礎上降低50%。...
    加劉景長閱讀 7,949評論 0 6
  • 有人說2017年是中國網絡視頻發展的黃金時期,根據中國互聯網信息中心發布的《中國互聯網發展狀況統計報告》顯示,截止...
    肆虐的悲傷閱讀 1,820評論 0 0
  • “隨著技術的不斷進步,視頻技術的制作加工門檻逐漸降低,信息資源的不斷增長,同時由于視頻信息內容更加豐富完整的先天優...
    陳墨啊閱讀 2,966評論 2 53
  • 關于視覺思維: 一種使用文字和圖片整理思維、提取信息的技能。當文字(左腦)與圖畫(右腦)一起使用時,人腦中潛在的創...
    王勝1986閱讀 775評論 0 0
  • 每段旋律記載著不同的復雜心情 每首歌都是催人淚下的動人故事 今生的眷戀,是我換不來的永遠 余生的陪伴,愿和你一起到...
    若惜ss閱讀 184評論 9 5