圖為：北京美攝網(wǎng)絡(luò)科技有限公司研發(fā)副總監(jiān) 劉路偉
 

2017年是視頻領(lǐng)域百家爭(zhēng)鳴的階段，短視頻工具、短視頻社區(qū)等都是大家耳熟能詳和日常生活中使用的。2016年底出現(xiàn)了一款名為“抖音”的短視頻產(chǎn)品，當(dāng)時(shí)比較火爆。大家都有一個(gè)疑問(wèn)：抖音這種火爆產(chǎn)品是否是曇花一現(xiàn)?現(xiàn)在已經(jīng)2019年了，抖音并沒(méi)有像當(dāng)時(shí)預(yù)期的一樣曇花一現(xiàn)，而且現(xiàn)在非常好。可以看一下短視頻的占比，從最開(kāi)始的百分之幾到現(xiàn)在的百分之十一點(diǎn)四，說(shuō)明短視頻迎來(lái)非常廣闊的發(fā)展前景。
 

美攝科技是2014年左右成立的，核心成員已經(jīng)擁有超過(guò)20年的視音頻領(lǐng)域研發(fā)經(jīng)驗(yàn)。眾所周知，視音頻領(lǐng)域研發(fā)門(mén)檻很高，如果一家新興公司想要標(biāo)榜火山或者是快手等主流視頻廠商，想從零自研視音頻技術(shù)，無(wú)論是從人力還是物力方面來(lái)講都是比較困難的。美攝科技目前所做的就是為客戶提供一套完整的解決方案，能快速靈活的接入進(jìn)去，低功耗穩(wěn)定的實(shí)現(xiàn)它們所需要的主流視音頻功能。
 

美攝的視音頻解決方案能實(shí)現(xiàn)哪些功能
 

對(duì)于需要視頻處理的用戶來(lái)說(shuō)，最基本的需求功能就是視頻拍攝和編輯功能。視頻拍攝就是從采集階段加入一些特效、人臉貼紙、背景摳像等技術(shù)生成源視頻文件，編輯端可以添加字幕、特效濾鏡、轉(zhuǎn)場(chǎng)、主題等等，最終輸出一個(gè)完整的效果。在基礎(chǔ)的拍攝和編輯模塊之上，還支持了其他幾個(gè)模塊。粒子特效模塊就很像抖音里的“控雨”或者“噴火”效果。
 

AI智能視頻模塊目前應(yīng)用的領(lǐng)域主要是給手機(jī)廠商做些智能相冊(cè)，通過(guò)對(duì)視音頻去人工智能的處理，生成它想要的結(jié)果。人臉特效模塊目前使用比較多的是直播、短視頻，女性可進(jìn)行瘦臉、大眼、美顏美膚等操作。青年朋友還會(huì)有更多玩法，如添加面具、添加動(dòng)物的假臉進(jìn)行互動(dòng)。
 

VR模塊也是主流功能，有些客戶需要360度全景視頻，也可以支持對(duì)它進(jìn)行編輯，然后輸出。特效定制是根據(jù)不同的客戶有不同的需求相應(yīng)的去做定制化開(kāi)發(fā)服務(wù)。
 

這些解決方案美攝在技術(shù)層面是如何做到的
 

美攝科技SDK的流媒體技術(shù)架構(gòu)是指在一個(gè)流媒體上下文，可以當(dāng)作美攝科技API的入口，所有數(shù)據(jù)結(jié)構(gòu)的創(chuàng)建、所有API的調(diào)用基本是從它發(fā)起。還有時(shí)間線的概念。時(shí)間線在采集和編輯線是貫穿始終的，從產(chǎn)品角度來(lái)講，它應(yīng)該是視頻編輯的一條主線，在這條線上可以添加視頻軌道、音頻軌道，從而達(dá)到視頻的播放、采集的效果。在視頻軌道上可以添加視頻源，視頻源對(duì)應(yīng)每個(gè)視頻的片段，可能是一個(gè)電影、一個(gè)音頻、一個(gè)視頻的部分，也可能是整個(gè)視頻。在視頻片段過(guò)程中可以添加“轉(zhuǎn)場(chǎng)”，“轉(zhuǎn)場(chǎng)”在視頻領(lǐng)域來(lái)說(shuō)是從一個(gè)視頻跳到另一個(gè)視頻，中間可能會(huì)有動(dòng)畫(huà)效果。對(duì)視頻片段和音頻片段支持剪切、移位等對(duì)應(yīng)操作。時(shí)間線從剛才的流媒體上下文生成后，在它內(nèi)部可以添加視頻軌道和音頻軌道，在軌道上可以添加視頻片段，從而達(dá)到視頻貫穿始終，逐幀播放、逐幀渲染，在時(shí)間線軌道上可以添加一些特效。
 

從美攝科技的角度來(lái)說(shuō)，音視頻特效包括變音、包括視頻的一些動(dòng)畫(huà)效果，視頻中間可以添加轉(zhuǎn)場(chǎng)，視頻上面可以添加字幕，字幕可以應(yīng)用一定的字幕樣式，可以更改字體、大小、挪動(dòng)位置等，可以把當(dāng)前的主流玩法加入這里，變成一個(gè)貼紙，像是LOGO的樣子，打到視頻里去。主題相當(dāng)于是特效包裹的結(jié)合，可以對(duì)編輯的視頻應(yīng)用一個(gè)主題，主題內(nèi)部套用音視頻動(dòng)效等5個(gè)效果。所有的特效都是支持內(nèi)嵌和支持資源包的，資源包的效果可以從SDK外部引入一個(gè)包裹，這個(gè)包裹可能是美攝科技制作，也有可能是用戶自己制作，通過(guò)工具轉(zhuǎn)為包裹，從而在視頻采集和編輯中看到自己的資源包效果，這是整個(gè)美攝科技SDK流媒體處理的基本情況。在做視頻解決方案研發(fā)時(shí)，面對(duì)安卓機(jī)器海量機(jī)型，甚至有一些印度的客戶低端配置安卓機(jī)型。如何讓這些手機(jī)做到同樣高效、高質(zhì)量的處理，這也是美攝科技一直在解決的問(wèn)題。經(jīng)過(guò)不斷地研發(fā)積累，現(xiàn)在美攝科技SDK支持對(duì)于不同的手機(jī)可以選擇不同自定義的級(jí)別，包括碼率、分辨率等等，所以能夠達(dá)到很好的處理效果。

從產(chǎn)品角度上來(lái)說(shuō)，美攝科技SDK發(fā)展至今，雖然才短短一年多時(shí)間，但服務(wù)的客戶都是各行業(yè)領(lǐng)域頭部大廠，如OPPO、VIVO、獵豹移動(dòng)、嗶哩嗶哩、咪咕、映客、知乎、芒果TV、KEEP、房天下、小紅唇、Amazer、Loopnow等。針對(duì)于不同的客戶如何滿足不同的需求呢?這跟產(chǎn)品設(shè)計(jì)、研發(fā)設(shè)計(jì)上的模塊化功能是分不開(kāi)的。要降低每個(gè)模塊之間的耦合程度，在用戶需要特定的方案時(shí)，能夠把這些他需要的功能拼接成一個(gè)他想要的效果，并且保留比較低的包的尺寸。因?yàn)榘某叽缡且苿?dòng)用戶首要考慮的問(wèn)題，美攝科技包的尺寸大概在3.5兆左右。支持特效、字幕、貼紙、主題、濾鏡等等?？梢杂捎脩糇远x開(kāi)發(fā)，然后提供拓展、提供工具、提供模板。用戶的設(shè)計(jì)人員也可以根據(jù)自己的需求去設(shè)計(jì)出自己滿意的資源。還支持LUT濾鏡，在設(shè)計(jì)時(shí)可以把原視頻顏色映射到另外的顏色，實(shí)現(xiàn)高效率的濾鏡效果。還有一個(gè)customvideoEx，包括剛才提到的形式和人臉貼紙和粒子特效。
 

EffectSDK的新玩法
 

以上主要說(shuō)的是美攝科技流媒體SDK的形式。最新推出的一個(gè)叫EffectSDK，這兩個(gè)區(qū)別在哪里?流媒體SDK是輸入到輸出去處理。而EffectSDK可以把美攝科技的SDK作為一個(gè)渲染的中間件，通過(guò)美攝科技去做一定的預(yù)處理之后，再輸出給其他需要渲染結(jié)果的接收地，從而達(dá)到中間件的渲染效果，它支持流媒體相關(guān)的功能。
 

最近美攝科技推出的服務(wù)器端新產(chǎn)品已經(jīng)上線。比如前一段比較火的軍裝照，對(duì)人的面部進(jìn)行自動(dòng)處理與預(yù)設(shè)背景結(jié)合生成一個(gè)場(chǎng)景圖片。也可以上傳視頻，根據(jù)視頻的內(nèi)容進(jìn)行結(jié)合生成一個(gè)有意思的結(jié)果出來(lái)?，F(xiàn)已在微信端應(yīng)用了，未來(lái)會(huì)上到云的部署去做更多更好的優(yōu)化。服務(wù)器端處理流程是用戶向服務(wù)器端發(fā)送請(qǐng)求，服務(wù)器給提供功能方案，中間有些數(shù)據(jù)的交互，用戶可以根據(jù)這些方案選擇想要的素材，這些素材包括特效效果，濾鏡、主題、貼紙等等，等于把所有移動(dòng)端做的事情放到服務(wù)器端去做，最終生成一個(gè)產(chǎn)品的效果，這是一個(gè)比較新的玩法。
 

云端處理做了哪些技術(shù)架構(gòu)
 

技術(shù)是一個(gè)CS架構(gòu)，在云端部署一些服務(wù)器，在客戶端和服務(wù)器中可能有些交流的組件，從而達(dá)到多個(gè)用戶同時(shí)做視頻處理的功能。這是目前可以支持的服務(wù)器端的一個(gè)玩法，可以制作音樂(lè)相冊(cè)，可以對(duì)視頻進(jìn)行高級(jí)編輯，高級(jí)編輯有兩方面，一種是在特效上有更多玩法，另一種是在分辨率和碼率支持更高質(zhì)量，最高可以支持到8K，如果用戶達(dá)到一定規(guī)模，也可以去部署自己的私有服務(wù)器。既然視頻都可以處理，圖片美化也都可以做到。包括在上層處理時(shí)，圖片和視頻對(duì)于用戶來(lái)說(shuō)是一致的，我們對(duì)單一圖片做成視頻，視頻上有運(yùn)動(dòng)軌跡，像特效一樣支持定制化模板，用戶可以部署自己的云端服務(wù)，達(dá)到想要的效果。
 

云端服務(wù)未來(lái)可能會(huì)服務(wù)于哪些客戶
 

目前在微信公眾號(hào)已經(jīng)實(shí)現(xiàn)了這個(gè)功能，未來(lái)電視、教育行業(yè)、電商、手機(jī)廠商等等是不是也有應(yīng)用云端部署的場(chǎng)景，這也是美攝科技思索的一個(gè)方向。