隨著阿里云、騰訊云、華為云等云計(jì)算頭部企業(yè)在分布式云賽道的發(fā)展進(jìn)程加快，以及企業(yè)上云速度加快，市場(chǎng)對(duì)云計(jì)算不斷提出更高要求，中國(guó)分布式云計(jì)算發(fā)展進(jìn)入實(shí)踐落地階段。近期，黨的二十大報(bào)告更是提出了“加快建設(shè)數(shù)字中國(guó)”“加快發(fā)展方式綠色轉(zhuǎn)型”等重大戰(zhàn)略，為分布式云計(jì)算的發(fā)展指明了方向和路徑。

以“萬象智算”為主題的2022全球分布式云大會(huì)·上海站于10月26日正式拉開帷幕，本次大會(huì)集結(jié)了信通院、阿里云、騰訊云、F5、OceanBase、浪潮云等分布式云計(jì)算及細(xì)分領(lǐng)域的領(lǐng)袖企業(yè)，共同助推云計(jì)算向智能計(jì)算升級(jí)，促進(jìn)數(shù)網(wǎng)協(xié)同、數(shù)云協(xié)同、云邊協(xié)同、綠色智能的多層次算力設(shè)施體系建設(shè)。

在10月27日上午舉辦的音視頻技術(shù)領(lǐng)袖論壇上，騰訊云音視頻專家工程師 劉兆瑞發(fā)表了題為《4K/8K超高清時(shí)代，媒體處理技術(shù)如何加速媒體數(shù)字化升級(jí)》的精彩演講。

4K/8K超高清

當(dāng)前業(yè)務(wù)接觸的8K場(chǎng)景，碼率基本達(dá)到100兆以上。如此大的帶寬無論對(duì)于系統(tǒng)還是播放端，都帶來了很多新的壓力；同時(shí)，存儲(chǔ)的成本也會(huì)幾何倍數(shù)增長(zhǎng)。無論是直播系統(tǒng)還是點(diǎn)播系統(tǒng)，都要經(jīng)過轉(zhuǎn)碼過程，對(duì)于直播系統(tǒng)來說，如果要實(shí)現(xiàn)實(shí)時(shí)8K的高大分辨率，市面上還沒有任何一個(gè)編碼器能夠在單臺(tái)服務(wù)器上實(shí)現(xiàn)8K的實(shí)時(shí)轉(zhuǎn)碼，這也是行業(yè)面臨的痛點(diǎn)問題之一。

另一方面，高清片源稀少，在AI之前也有專門的影片修復(fù)技術(shù)，大部分是通過人工手段，非常耗費(fèi)人力、物力，無法大批量生產(chǎn)?，F(xiàn)在通過AI能力的迭代，對(duì)非常老舊經(jīng)典電影的修復(fù)能力，已經(jīng)有很大的能力提升。

面向未來來，AR/VR的興起，如果要達(dá)到比較好的效果、避免眩暈，往往需要更高的4K/8K的分辨率。除了清晰度和碼率之外，延時(shí)也是AR/VR的關(guān)注重點(diǎn)，要考慮在大分辨率編碼應(yīng)用在新的玩法、新的應(yīng)用上的延時(shí)問題。

媒體處理4K/8K架構(gòu)優(yōu)化

騰訊云音視頻在編碼方面實(shí)現(xiàn)了極速高清的能力，在不降低主觀評(píng)分的情況下，降低50%以上的帶寬以及存儲(chǔ)。目前，團(tuán)隊(duì)在編碼上的優(yōu)化主要核心方向在兩個(gè)點(diǎn)：

（1）怎么樣在保證主觀評(píng)分的情況下，盡可能降低視頻的碼率；降低碼率的情況下，主要是要去解決4K/8K超高清視頻它的高帶寬的問題，比如8K大概在100兆碼率，如果降低50%，那就是在50兆，超高清視頻壓力會(huì)大幅降低。

（2）在編碼上的優(yōu)化，主要是指在速度的優(yōu)化。對(duì)于一個(gè)超高碼率的直播系統(tǒng)來說，要實(shí)現(xiàn)實(shí)時(shí)編碼，整體的編碼器系統(tǒng)架構(gòu)和速度上需要進(jìn)行非常多的迭代。

編碼優(yōu)化

為了支持編碼優(yōu)化，騰訊云音視頻內(nèi)部無論是在264、265還是最新的266，都有專門的團(tuán)隊(duì)進(jìn)行完全編碼內(nèi)核的自研，尤其在266方面參與了國(guó)際標(biāo)準(zhǔn)的制定，有100項(xiàng)以上的專利，各項(xiàng)編碼評(píng)分成績(jī)都很優(yōu)秀。團(tuán)隊(duì)對(duì)整個(gè)系統(tǒng)進(jìn)行了實(shí)時(shí)的轉(zhuǎn)碼的應(yīng)用，支持了北京冬奧會(huì)8K 120FPS的實(shí)時(shí)直播。

一方面是適合編碼的，或者是去適應(yīng)主觀的，進(jìn)行一些對(duì)應(yīng)的視頻增強(qiáng)的工作，然后進(jìn)行對(duì)應(yīng)的編碼IDU的分析，包括參考幀的決策，包括量化的過程等等，之后再進(jìn)行一些后處理的工作。

編碼標(biāo)準(zhǔn)規(guī)范協(xié)議，內(nèi)容、碼率分配、內(nèi)部算法等自主決策的地方，也是實(shí)現(xiàn)編碼器優(yōu)化所要關(guān)注的重點(diǎn)，也是各個(gè)編碼器壓縮性能的區(qū)別點(diǎn)。

騰訊云音視頻編碼器的優(yōu)化核心主要關(guān)注兩個(gè)方面：一方面是工程上，在工程上第一點(diǎn)是在指令級(jí)，把大量代碼用指令級(jí)進(jìn)行優(yōu)化，大幅提升運(yùn)算速度；另外一點(diǎn)是幀級(jí)的并行，進(jìn)一步更大范圍內(nèi)的宏塊的并行。

算法上的創(chuàng)新，一方面是提升壓縮率，包括幀結(jié)構(gòu)的決策、碼率分配；另一方面，在算法的速度上，快速過濾掉那塊。

壓縮率與速度

在壓縮率和速度方面，騰訊云音視頻著眼于幀結(jié)構(gòu)的決策，如264只支持了一個(gè)B幀，可以被進(jìn)行參考，無論是X64或X65，都不存在這樣的機(jī)制。如果沒有實(shí)現(xiàn)這樣的機(jī)制，在MEPG內(nèi)有一個(gè)B幀，因?yàn)榉秶鷥?nèi)編碼架構(gòu)只有一個(gè)B幀作為參考，如果第五號(hào)幀去參考第四號(hào)幀，就要實(shí)現(xiàn)被參考的結(jié)構(gòu)。

騰訊云音視頻實(shí)現(xiàn)了多層級(jí)的B幀被參考機(jī)制，進(jìn)行多層級(jí)的B幀參考，在16個(gè)B幀情況下，純編碼能力技術(shù)可以有5%以上的壓縮。

在低延遲場(chǎng)景上，如云游戲、AR/VR等場(chǎng)景，是不開B幀的，B幀往往會(huì)做后向的參考，因?yàn)榻獯a時(shí)要先解碼后幀再解碼前幀，必然帶來延時(shí)的增加。但B幀有它的好處，例如一個(gè)宏塊有兩個(gè)mv進(jìn)行參考，極限情況下能帶來更大的壓縮率。

這種場(chǎng)景下，騰訊云音視頻提出了新的幀類型，叫GPB幀，它具有B幀的特性，有兩個(gè)MV進(jìn)行利用，能夠提升壓縮率；為了減少延時(shí)率，對(duì)其前后list進(jìn)行約束。因此，GBP幀是一個(gè)B幀，同時(shí)有兩個(gè)MV，有更大的壓縮率，并且沒有延時(shí)問題，在低延時(shí)場(chǎng)景下可以帶來2%~4%的BDrate收益。

編碼器向下兼容

編碼器在不斷迭代，例如266能夠哦支持更多后處理的濾鏡。將更領(lǐng)先的編碼器所支持的能力降級(jí)到低檔的編碼器上，例如將CDEF的約束濾波應(yīng)用到264上。通過前置處理的方式，主動(dòng)檢測(cè)編碼中主觀細(xì)節(jié)紋理的區(qū)域，平滑和消除周圍毛刺，最好的方法是利用AI的能力來處理，缺點(diǎn)是對(duì)GPU的消耗非常高。

碼率控制

前面提到的是對(duì)幀結(jié)構(gòu)的構(gòu)造提出了更好的幀結(jié)構(gòu)參考和更加新的幀結(jié)構(gòu)，從而讓整體的壓縮率降得更低。編碼器可以更好地降低壓縮率的另外一個(gè)方式就是整體的碼率控制。整體的碼率控制方式大致分為三個(gè)層級(jí)，第一個(gè)層級(jí)是場(chǎng)景級(jí)，第二個(gè)層級(jí)是幀級(jí)，第三個(gè)層級(jí)是宏塊級(jí)。騰訊云音視頻對(duì)多層級(jí)碼率做了控制，盡量讓每個(gè)bit的碼率分配在人眼各項(xiàng)指標(biāo)都感受到的區(qū)域。

具體的方法是，首先把視頻切成若干個(gè)幾秒的場(chǎng)景區(qū)域，在場(chǎng)景區(qū)域提前訓(xùn)練了AI模型，提取出視頻特征，通過模型訓(xùn)練得到結(jié)果，即該段視頻大概是怎樣的碼率，VMAF分是95分，如果編碼質(zhì)量高于95分，它跟源就非常接近的，再加更多碼率去提升VMAF分，人眼感受不到，沒有意義。

第一個(gè)層級(jí)會(huì)設(shè)計(jì)整個(gè)場(chǎng)景的基準(zhǔn)碼率，通過一些AI的手段提取特征，當(dāng)前的碼率大概是多少，VMAF大概是95分。

第二部分進(jìn)行幀級(jí)的碼率分配，得到一個(gè)場(chǎng)景和基準(zhǔn)碼率，看在場(chǎng)景內(nèi)是有動(dòng)的幀、靜的幀，復(fù)雜的幀、簡(jiǎn)單的幀，進(jìn)行更細(xì)粒度的幀級(jí)碼率分配。

最后進(jìn)行宏塊級(jí)的碼率分配，自適應(yīng)量化的能力等。需要注意的是，碼率分配的核心是在保證主觀不變的前提下盡可能降低碼率。例如，平坦區(qū)域細(xì)節(jié)并不多，碼率達(dá)到一定程度再加碼率只會(huì)造成浪費(fèi)，JND或者AQ做的事情，是讓碼率分配得更均衡。

并行算法優(yōu)化創(chuàng)新

4K/8K超高清場(chǎng)景要做到實(shí)時(shí)化，對(duì)編碼速度的壓力很大，騰訊云音視頻對(duì)編碼速度進(jìn)行了很多的優(yōu)化，分為以下兩個(gè)方面。

第一，更好地并行化。舉例來說，在做預(yù)分析時(shí)，X64或X65是大家已知開源最好的編碼器，而X64之所以沒有做幀級(jí)的并行，是由于X64是一幀一幀做幀結(jié)構(gòu)的編碼，后面幀的參考關(guān)系有比較復(fù)雜的變化，無法快速進(jìn)行并行。在這一背景下，騰訊云音視頻對(duì)整個(gè)編碼結(jié)構(gòu)進(jìn)行了優(yōu)化，在進(jìn)行幀結(jié)構(gòu)決策之前，先快速做內(nèi)部幀類型的關(guān)系決策，決定當(dāng)前幀參考哪幾幀，另外的幀參考哪幾幀，預(yù)先知道哪些幀之間沒有并行參考關(guān)系，這些沒有參考關(guān)系的幀可以進(jìn)行編碼并行加速。

第二，在算法方面，快速選擇出最合適的劃分，快速終止宏塊的塊劃分；在預(yù)算上，采用空間換時(shí)間的算法，盡可能用高層信息技術(shù)彌補(bǔ)，通過算法的加速，以大約百分之零點(diǎn)幾的壓縮增益損失置換80%以上的加速。

編碼能力方面，騰訊云音視頻獲得2020/2021 MSU（云端編碼大賽）[2020全項(xiàng)最佳，2021 12/15最佳]，O264/V265綜合最佳，V265 MSU連續(xù)4年行業(yè)領(lǐng)先；TXAV1 ?MSU 2021 視頻編碼評(píng)測(cè)中取得綜合指標(biāo)第一，O266 4K@1FPS 賽道取得綜合指標(biāo)第一。

媒體處理4K/8K 極速高清

盡管一個(gè)8K 120FPS的直播檔位上做了大量的優(yōu)化，但在軟編上還是非常難以用一個(gè)單機(jī)實(shí)現(xiàn)，目前各大廠商提供的方案大多是基于硬件的方案，使用硬件芯片實(shí)現(xiàn)265或者AV1的8K。解決這一難題，需要考慮整個(gè)業(yè)務(wù)的分布式系統(tǒng)構(gòu)建，直播的轉(zhuǎn)碼分布式等。之所以不用硬編解決問題是出于以下幾個(gè)方面考慮。

第一，從用戶角度考慮，編碼器在不停迭代，很多8K擋還是用265做，未來可能會(huì)換成266或者AV1。如果全身心投入一個(gè)硬件的方案或者給客戶提供一個(gè)硬件方案，帶來的問題就是隨著編碼標(biāo)準(zhǔn)的升級(jí)，再進(jìn)行編碼標(biāo)準(zhǔn)遷移時(shí)，整個(gè)硬件的芯片都需要進(jìn)行對(duì)應(yīng)的升級(jí)。如果是以軟編實(shí)現(xiàn)，只需要做軟件的升級(jí)，原先購(gòu)買的服務(wù)器可以復(fù)用，升級(jí)的成本是非常低的。

第二，離線的、最極致的編碼，壓縮率最高的一定是軟編方案，相比硬編有很多優(yōu)勢(shì)，一些復(fù)雜的算法在硬編上不太好做。

第三，從業(yè)務(wù)的場(chǎng)景考慮。一套硬件編碼工具，可能支持了264或者265之類的8K視頻編碼，又支持HDR的能力，隨著新標(biāo)準(zhǔn)不斷迭代，之前的硬件不支持新標(biāo)準(zhǔn)的能力，更換整個(gè)系統(tǒng)是非常昂貴的。如果在軟編的基礎(chǔ)上，無論有什么新的標(biāo)準(zhǔn)，所有的業(yè)務(wù)需求都可以進(jìn)行無損快速迭代優(yōu)化。

既然軟編能夠做到，就應(yīng)該用軟編去做，無論從系統(tǒng)迭代還是功能開發(fā)的角度考慮，軟編都有非常大的優(yōu)勢(shì)。

在直播的系統(tǒng)中，單機(jī)的轉(zhuǎn)碼無法實(shí)現(xiàn)8K 120FPS的實(shí)時(shí)編碼，需要對(duì)于整體的直播轉(zhuǎn)碼架構(gòu)進(jìn)行更改，變成分布式的架構(gòu)。傳統(tǒng)的直播系統(tǒng)，一個(gè)轉(zhuǎn)碼服務(wù)器從源站拉流進(jìn)行轉(zhuǎn)碼，轉(zhuǎn)碼之后下行去拉對(duì)應(yīng)的流進(jìn)行分發(fā)，整個(gè)編碼的核心節(jié)點(diǎn)在一臺(tái)服務(wù)器上。把直播和點(diǎn)播系統(tǒng)相結(jié)合，直播拉流之后相對(duì)獨(dú)立，直播流處理系統(tǒng)并不進(jìn)行實(shí)際的轉(zhuǎn)碼，反而進(jìn)行分發(fā)工作，把整個(gè)實(shí)時(shí)直播流，做2秒或4秒一個(gè)小片，分發(fā)到點(diǎn)播離線的轉(zhuǎn)碼系統(tǒng)進(jìn)行文件級(jí)轉(zhuǎn)碼。比如10秒的直播延時(shí)可以切5個(gè)兩秒的片，直接發(fā)給下游不同的轉(zhuǎn)碼集群的機(jī)器進(jìn)行處理，實(shí)現(xiàn)一路直播流，底層有更多的機(jī)器并行轉(zhuǎn)碼。

這樣一來，可以通過軟件的方式實(shí)現(xiàn)非常高分辨率的實(shí)時(shí)編碼；另外，大部分直播系統(tǒng)是軟件服務(wù)，軟件系統(tǒng)的擴(kuò)容非常簡(jiǎn)單，甚至資源接近于無限，整個(gè)直播系統(tǒng)和點(diǎn)播系統(tǒng)的打通，可以使整體資源利用率大幅提升，降低使用成本。

但是，這種做法也存在缺點(diǎn)，要把一個(gè)直播流切成一個(gè)一個(gè)文件的小片進(jìn)行分發(fā)，延時(shí)會(huì)變得很高。這個(gè)延時(shí)大部分情況下還是可以接受的。首先，8K編碼是非常復(fù)雜的一件事情，即使是硬件編碼器，延時(shí)也有5、6秒左右，很難做到2、3秒的延時(shí)。其次，高分辨率的直播流分發(fā)，自身也有5秒以上的延時(shí)。

把直播和點(diǎn)播的系統(tǒng)打通后，原先默認(rèn)一路直播流N個(gè)轉(zhuǎn)碼，通過直播和點(diǎn)播打通結(jié)合的方式，可以做到直播系統(tǒng)的千人千面，直播系統(tǒng)不同的人，比如顯示不同廣告的插入，下行有N個(gè)人觀看的時(shí)候，可以把直播點(diǎn)播打通，切成很多小片放到下游的離線系統(tǒng)來進(jìn)行并行處理，處理后，每個(gè)人觀看不同的片，廣告結(jié)束以后再回歸到原來的直播系統(tǒng)。

AI處理

目前4K的屏幕已經(jīng)普及了，但4K的片源非常少，尤其是很多經(jīng)典電影的清晰度遠(yuǎn)遠(yuǎn)達(dá)不到4K。在此基礎(chǔ)上，可以通過AI處理的方式，包括超分、畫質(zhì)增強(qiáng)等進(jìn)行主觀畫質(zhì)的提升。

首先，無論是超分算法、插幀算法還是去噪等，不得不面對(duì)的問題是片源多種多樣，如果用一個(gè)通用的模型，都很難達(dá)到理想的效果；低清的片源需要很強(qiáng)的去噪，高清的片源則要細(xì)節(jié)增強(qiáng)的操作。這里延伸出第二個(gè)問題，一個(gè)視頻，該怎樣合理選擇模型。目前的做法是，首先做畫質(zhì)評(píng)估，視頻源通過AI能力評(píng)估當(dāng)前畫質(zhì)如何，分辨率的超分形式是1080p到4K或是其他形式，之后從庫(kù)里選出合適的模型進(jìn)行操作。

從服務(wù)客戶的角度考慮，騰訊云音視頻在系統(tǒng)里針對(duì)不同清晰度的視頻源預(yù)制了大量的定制模板，大部分的OTT或廣電客戶內(nèi)部視頻都是結(jié)構(gòu)化存儲(chǔ)，有自己的標(biāo)簽，了解視頻屬于什么樣的類型，通過預(yù)先制定的模板，就可以選擇適合的方式進(jìn)行操作。

4K/8K超高清媒體的處理

除了超分、增強(qiáng)等已經(jīng)提到的處理方式，騰訊云音視頻還為超高清媒體提供以下處理支持。

當(dāng)藝人劣跡曝光后，需要對(duì)劣跡藝人的相關(guān)視頻做批量下線操作，騰訊云音視頻系統(tǒng)為支持更好的人臉檢測(cè)、人臉識(shí)別等檢測(cè)，視頻入庫(kù)時(shí)進(jìn)行結(jié)構(gòu)化的存儲(chǔ)，應(yīng)對(duì)突發(fā)事件時(shí)就可以更快速地做下線或者人臉替換等處理。

面對(duì)4K/8K的超高清視頻，大部分還是源站的服務(wù)。為了讓系統(tǒng)私有化，部署在沒有任何依賴的環(huán)境下，團(tuán)隊(duì)把對(duì)騰訊內(nèi)部組件的依賴全部去掉，整個(gè)系統(tǒng)以容器的方式輕松快速地部署在任何一個(gè)有CPU或GPU的通用環(huán)境，來實(shí)現(xiàn)完整的4K/8K的超高清轉(zhuǎn)碼以及增強(qiáng)處理。

很多用戶有自建的轉(zhuǎn)碼系統(tǒng)，騰訊云音視頻也提供更加開放的方式，如底層的原子編碼能力、底層原子的增強(qiáng)能力。如果用戶有自身的轉(zhuǎn)碼系統(tǒng)，只需要把整個(gè)編碼庫(kù)進(jìn)行簡(jiǎn)單替換，系統(tǒng)不需要操作，騰訊云音視頻就可以把領(lǐng)先的編碼能力、增強(qiáng)能力，完全部署在用戶自己的系統(tǒng)里，編碼器是完全開放的。