2018年08月14日，隨著ARKit和iPhone X開(kāi)始支持Unity，開(kāi)發(fā)者現(xiàn)在可以通過(guò)一套易于使用的工具來(lái)創(chuàng)建美觀(guān)且富有表現(xiàn)力的角色。這為江毅冰即將上映的動(dòng)畫(huà)短片《Windup》探索了實(shí)時(shí)木偶操作的魔力。
Unity Labs和《Windup》團(tuán)隊(duì)進(jìn)行了合作，希望看看他們能在多大程度上推動(dòng)Unity為電影角色實(shí)現(xiàn)實(shí)時(shí)捕捉面部動(dòng)畫(huà)的能力。與此同時(shí)，Beast House FX的Roja Huchez在混合形狀的建模和Rigging上為他們提供了協(xié)助。
團(tuán)隊(duì)的成果是Facial AR Remote，這是一種通過(guò)聯(lián)網(wǎng)設(shè)備直接在Unity編輯器中捕獲性能的低開(kāi)銷(xiāo)方式。他們發(fā)現(xiàn)Remote的工作流程不僅對(duì)動(dòng)畫(huà)創(chuàng)作有用，而且對(duì)于角色和混合形狀建模和Rigging同樣非常有用，其提供了一種在Unity中構(gòu)建自家animoji或memoji類(lèi)型交互的簡(jiǎn)化方法。這允許開(kāi)發(fā)者能夠在編輯器中迭代模型，無(wú)需構(gòu)建到設(shè)備，從而消除了流程中耗時(shí)的步驟。
為什么要構(gòu)建Facial AR Remote
他們認(rèn)為為電影項(xiàng)目構(gòu)建新動(dòng)畫(huà)工具存在一個(gè)新機(jī)遇，可以為Unity開(kāi)啟實(shí)時(shí)動(dòng)畫(huà)的未來(lái)。通過(guò)AR工具進(jìn)行創(chuàng)作還有一個(gè)“酷炫的因素”，而且有機(jī)會(huì)繼續(xù)推進(jìn)Unity的實(shí)時(shí)渲染。當(dāng)基本掌握了在編輯器編輯來(lái)自手機(jī)的數(shù)據(jù)后，他們團(tuán)隊(duì)及辦公桌周?chē)拿總€(gè)人都馬上沉浸于操縱角色的樂(lè)趣之中。他們看到了這種技術(shù)的巨大潛力。最初的實(shí)驗(yàn)很快證明了它既有趣又有用。這個(gè)項(xiàng)目迅速擴(kuò)展到當(dāng)前的Facial AR Remote和功能集。
團(tuán)隊(duì)開(kāi)始著手?jǐn)U展項(xiàng)目，而Unity的目標(biāo)是普及開(kāi)發(fā)。他們希望圍繞AR混合形狀動(dòng)畫(huà)的工具和工作流程能夠比當(dāng)前的傳統(tǒng)動(dòng)捕方法更容易使用和更容易獲取。Facial Remote允許他們構(gòu)建為在編輯器中迭代混合形狀(無(wú)需只是為了瀏覽手機(jī)上的網(wǎng)格變化而構(gòu)建新版本)構(gòu)建了一定的工具。這意味著用戶(hù)能夠捕捉一位演員的面部并將其記錄在Unity中。這種捕捉可用作迭代和更新角色模型的固定點(diǎn)，或者將動(dòng)畫(huà)重新定位到另一個(gè)角色，無(wú)需重新捕捉與演員的會(huì)話(huà)。他們發(fā)現(xiàn)這個(gè)工作流程非常適用于在角色表達(dá)和改進(jìn)各個(gè)混合形狀。
Facial AR Remote的工作原理
Remote由客戶(hù)端手機(jī)應(yīng)用程序組成，其中流式讀取器充當(dāng)Unity編輯器中的服務(wù)器?？蛻?hù)端是一個(gè)輕量級(jí)應(yīng)用程序，它能夠利用ARKit的最新功能，并通過(guò)網(wǎng)絡(luò)將數(shù)據(jù)發(fā)送至Stream Reader GameObject上的Network Stream Source。借助簡(jiǎn)單的TCP/IP socket和固定大小的字節(jié)流，他們將混合形狀，相機(jī)和頭部姿勢(shì)數(shù)據(jù)的每一幀從設(shè)備發(fā)送至編輯器。接下來(lái)，編輯器對(duì)數(shù)據(jù)流進(jìn)行解碼，并實(shí)時(shí)更新rigged角色。為了消除因網(wǎng)絡(luò)延遲引起的抖動(dòng)，流式讀取器保留了歷史幀的可調(diào)緩沖區(qū)，以防編輯器落后于手機(jī)。他們發(fā)現(xiàn)這是一個(gè)重要的功能，可以保持預(yù)覽角色的流暢外觀(guān)，同時(shí)盡可能接近真正的演員姿勢(shì)。在較差的網(wǎng)絡(luò)條件下，預(yù)覽有時(shí)會(huì)出現(xiàn)丟幀情況，但所有數(shù)據(jù)仍然會(huì)記錄來(lái)自設(shè)備的原始時(shí)間戳。
在編輯器方面，他們使用流數(shù)據(jù)來(lái)為預(yù)覽驅(qū)動(dòng)角色，以及烘焙動(dòng)畫(huà)片段。由于他們將來(lái)自手機(jī)的原始數(shù)據(jù)流保存到磁盤(pán)，因此可以繼續(xù)在角色上播放數(shù)據(jù)。由于保存的數(shù)據(jù)只是來(lái)自手機(jī)的原始數(shù)據(jù)流，他們甚至可以將動(dòng)作重新定位到不同的角色。當(dāng)你對(duì)數(shù)據(jù)流感到滿(mǎn)意時(shí)，你可以將數(shù)據(jù)流烘焙到角色的動(dòng)畫(huà)片段。這很棒，因?yàn)樗鼈兛梢韵馯nity中的任何其他動(dòng)畫(huà)一樣使用你創(chuàng)作的剪輯來(lái)驅(qū)動(dòng)Mecanim，Timeline的角色。
“Windup”動(dòng)畫(huà)演示作品
隨著“Windop”的技術(shù)演示作品渲染完成，團(tuán)隊(duì)能夠使用這些高質(zhì)量的asset來(lái)開(kāi)始他們的動(dòng)畫(huà)探索。由于他們能夠相當(dāng)快速地啟動(dòng)和運(yùn)行基線(xiàn)，他們有大量的時(shí)間來(lái)使用他們開(kāi)發(fā)的工具迭代混合形狀。抖動(dòng)，平滑化和形狀調(diào)整很快成為了項(xiàng)目的主要關(guān)注領(lǐng)域。通過(guò)計(jì)算幀速率之間的連接和幀處理中的延遲，以及從播放中移除相機(jī)移動(dòng)，他們優(yōu)化了用于抖動(dòng)的解決方案。移除相機(jī)移動(dòng)的能力確實(shí)能令用戶(hù)專(zhuān)注于捕捉混合形狀，并使他們能夠?qū)⑹謾C(jī)安裝在支架上。
理解混合形狀并充分利用ARKit中的混合形狀錨點(diǎn)是最需要進(jìn)行迭代的方面。從文檔中很難理解不同形狀的細(xì)節(jié)。最終表達(dá)的大部分都來(lái)自于角色的風(fēng)格化，以及形狀如何以某種預(yù)期的方式結(jié)合在一起。他們發(fā)現(xiàn)，通過(guò)限制混合形狀變化對(duì)面部特定區(qū)域的影響，可以改善眼睛/臉頰斜視形狀和嘴部伸展等形狀。例如，臉頰斜視對(duì)下眼皮幾乎沒(méi)有影響，斜視下的眼皮對(duì)臉頰幾乎沒(méi)有影響。
利用Skinned Mesh Renderer中的信息來(lái)查看構(gòu)成任何幀中表達(dá)的值，然后超頻或降頻這些值確實(shí)有助于實(shí)現(xiàn)混合形狀。他們能夠快速超頻或降頻當(dāng)前的混合形狀，并且判斷混合形狀是否需要調(diào)整，以及調(diào)整的幅度。這有助于完成最困難的任務(wù)之一，亦即為正確的角色實(shí)現(xiàn)關(guān)鍵的姿勢(shì)，就像他們希望小女孩以特定的方式微笑一樣。能夠看到哪種形狀構(gòu)成一個(gè)給定的姿勢(shì)真的很有幫助。在這種情況下，是左右拉伸的數(shù)量給出了最終的形狀。他們發(fā)現(xiàn)將手機(jī)提供的形狀視為小積木很有幫助，而不是說(shuō)將其視為人類(lèi)可以孤立地做出的某些面部姿勢(shì)。
在演示作品制作的最后，他們希望進(jìn)行一項(xiàng)實(shí)驗(yàn)來(lái)改善角色的部分動(dòng)畫(huà)。借助針對(duì)ARKit混合形狀的集體智慧，他們嘗試修改角色的基本中性姿勢(shì)。由于小女孩角色的風(fēng)格化，他們認(rèn)為角色的基本姿勢(shì)令眼睛過(guò)寬，臉上的基礎(chǔ)笑容過(guò)多。斜視混合形狀的效果同樣需要更好地考慮。事實(shí)證明，當(dāng)測(cè)試中的某人閉上眼睛時(shí)，瞇眼似乎總是介于60%-70%左右。對(duì)中性姿勢(shì)的改變帶來(lái)了回報(bào)，而且隨著所有其他工作的進(jìn)行，你可以在演示作品中看到富有表現(xiàn)力和動(dòng)態(tài)十足的角色。
未來(lái)
結(jié)合Facial AR Remote和Unity的其他工具，你可以無(wú)所限制地創(chuàng)建出優(yōu)秀的動(dòng)畫(huà)。無(wú)論是小孩子表演，然后錄制自己喜歡的角色并與朋友和家人分享，還是游戲播客為他們的角色注入額外的生機(jī)，又或者是專(zhuān)業(yè)人士和業(yè)余愛(ài)好者為直播制作動(dòng)畫(huà)內(nèi)容，不用多久任何人都能夠操縱數(shù)字角色。
微信掃一掃
