國家級的盛典,國家級的直播用AI剪輯???總臺這個想法夠大膽。從效果來看,大膽的想象帶來了大美的畫面,也大大提高了制作、發(fā)布效率。這其中,成都索貝數(shù)碼科技股份有限公司(以下簡稱索貝)功不可沒。
為保證國慶慶?;顒訄蟮莱?00條短視頻,央視新聞專門上線AI剪輯師,擔任其中一部分工作。這也是央視新聞新媒體首次運用AI人工智能技術(shù)到短視頻剪輯當中。
又颯又美的女民兵、三軍平行剪輯的蒙太奇、陸軍方陣的大特寫……AI剪輯師在國慶閱兵報道中完成首秀,AI剪輯作品瞬間火遍全網(wǎng),點擊量分分鐘破百萬,央視新聞在AI技術(shù)的加持下,輕松完成多個不同維度的閱兵精彩短視頻發(fā)布。
從大閱兵三軍儀仗隊進入視線開始,AI引擎能夠自動編輯前方70余個機位的畫面內(nèi)容,完成一條短視頻僅耗時90秒左右。國慶70小時直播期間,央視新聞共計推出近百條AI視頻,近7000秒的國慶閱兵精彩展現(xiàn)。
央視新聞客戶端AI智能剪輯專題
相較于人工剪輯,AI技術(shù)的加入使得視頻產(chǎn)量實現(xiàn)幾何式增長,且識別準確率較高,大大提高了效率,解放了人力,視頻編輯可以省出精力,專注于其他更加精細化且有編輯思路的視頻產(chǎn)品的制作上。
AI剪輯是怎樣煉成的?
AI厲害,是因為背后的程序猿厲害。這次大顯神通的AI技術(shù)并不是來自想象中的阿里、騰訊,而是一支既年輕又老道的隊伍——索貝AI團隊。年輕是因為,在媒體領(lǐng)域,人工智能(AI)技術(shù)發(fā)展迅猛就是近兩年的事,老道則是因為,索貝是一家專注視頻技術(shù)20多年的專業(yè)視音頻技術(shù)解決方案公司,是最懂廣電應(yīng)用場景的。
國慶閱兵AI剪輯系統(tǒng)框架
針對新聞新媒體國慶報道AI剪輯需求,索貝以公司最新打造的媒體智能平臺——麒智AI平臺為基礎(chǔ)開發(fā)出視頻AI智能剪輯系統(tǒng),利用平臺積累的計算機視覺、音頻、自然語言處理算法,進行快速定制、訓(xùn)練算法提取視音頻特征,同時結(jié)合平臺具備的大數(shù)據(jù)分析處理算法及工具,進一步完成數(shù)據(jù)及特征分析整合,形成應(yīng)用所需的有用的信息及知識,最后結(jié)合編輯場景所需完成最后的知識應(yīng)用,形成AI編輯生產(chǎn)力,完成之前需要大量人力投入的編輯工作。AI剪輯平臺以圖像識別技術(shù)為基礎(chǔ),結(jié)合語音識別等人工智能技術(shù),設(shè)計開發(fā)了隊伍方陣識別、有效鏡頭檢測、自動合成剪輯三大類智能處理模型,通過三類模型的綜合應(yīng)用,實現(xiàn)智能剪輯功能。
麒智AI平臺基本結(jié)構(gòu)
隊伍方陣識別模型主要采用了人臉識別、動作識別、物體識別等圖像識別方式,用于確認各隊伍、方陣在視頻畫面中出現(xiàn)的時間位置。確認時間位置后,通過有效鏡頭檢測模型在一定范圍內(nèi)對畫面進行前后智能比對,提取同一隊伍、方陣在各機位中的有效視頻畫面。最后使用自動合成剪輯模型,按預(yù)先訓(xùn)練完成的編輯剪輯規(guī)則,將同一隊伍、方陣的可用畫面進行拼接,再通過語音識別、圖像識別將畫面與聲音同步對齊后,自動生成精彩視頻。
AI剪輯不僅是簡單的切條,而是有“靈魂”的剪輯師,遠全中近特,各種鏡頭組合技巧講究,讓觀眾覺得自然順暢。AI剪輯的特長在效率,一個資深的視頻剪輯師,通常需要一個小時才能剪出幾分鐘的精彩時刻。而對于AI剪刀手來說,90秒就能出片。
作為廣電行業(yè)的領(lǐng)軍企業(yè),索貝一直十分重視先進技術(shù)在媒體行業(yè)的應(yīng)用研究。在人工智能方面,索貝堅持長期的資源、資金和人力投入,專門成立了媒體智能實驗室,并與上海交大、四川大學(xué)、鵬城實驗室等科研單位進行深度合作。同時,索貝始終堅持AI結(jié)合業(yè)務(wù)的研發(fā)原則。索貝媒體智能實驗室負責人溫序銘表示:“20多年來,索貝專注于視頻技術(shù),擁有深厚的技術(shù)積淀與媒體服務(wù)經(jīng)驗。索貝堅信AI的落地離不開具體的場景,離不開專業(yè)的領(lǐng)域知識。我們和中央廣播電視總臺等頂級媒體單位展開聯(lián)合研究,深入理解專業(yè)編輯知識,面向媒體行業(yè)具體需求進行針對式研發(fā)。”
在此次大規(guī)模應(yīng)用于新中國70年華誕國慶閱兵、慶典之前,索貝AI技術(shù)已經(jīng)成功應(yīng)用于中央廣播電視總臺體育CBA籃球智能剪輯。此外,索貝智能臺標、智能多媒體稿等多個產(chǎn)品也成功應(yīng)用于多個媒體單位。本次索貝和總臺團隊共同打造的大閱兵AI剪輯是國內(nèi)首次將人工智能技術(shù)應(yīng)用于新聞節(jié)目制作,這代表了國內(nèi)媒體AI技術(shù)應(yīng)用的最高水平,受到了用戶的廣泛好評。一場移動互聯(lián)網(wǎng)時代廣播電視轉(zhuǎn)播技術(shù)的比武閱兵,索貝以AI技術(shù)亮劍,跑在了阿里、騰訊等大佬前面,首戰(zhàn)告捷!