天娛數(shù)科：元享平臺(tái)完成行業(yè)首個(gè)超400萬面高精度模型實(shí)時(shí)互動(dòng)直播 引領(lǐng)虛擬人進(jìn)入穿越直播3.0時(shí)代

如果說2021年是元宇宙“元年”,那么2022年則是虛擬數(shù)字人“元年”。虛擬數(shù)字人作為人類進(jìn)入元宇宙的重要載體，讓人人擁有“虛擬分身”并進(jìn)入沉浸互聯(lián)的元宇宙成為可能。從爆火至今，繁榮景象之下，虛擬人底層產(chǎn)業(yè)技術(shù)取得了哪些突破性進(jìn)展？當(dāng)現(xiàn)實(shí)世界與虛擬世界的融合不斷加深，虛擬數(shù)字人又對(duì)人類社會(huì)生產(chǎn)生活哪些領(lǐng)域帶來改變，又該如何應(yīng)對(duì)虛擬人全面落地一系列挑戰(zhàn)？

(資料圖片)

近日，英偉達(dá)在線研討會(huì)——DIGITAL DAY2022解決方案日|虛擬數(shù)字人在行業(yè)內(nèi)部低調(diào)召開，匯聚了來自英偉達(dá)、Epic Games、歐特克、Aitalk、Style3D等各個(gè)數(shù)字人應(yīng)用領(lǐng)域的專家，共同探索數(shù)字人的關(guān)鍵核心技術(shù)，以及數(shù)字人目前在國內(nèi)的應(yīng)用及前景。

天娛數(shù)科控股子公司元境科技作為特邀合作伙伴參加了此次線上大會(huì)。元境科技CEO王智武結(jié)合天娛數(shù)科旗下首個(gè)文化出海的超寫實(shí)國風(fēng)虛擬人“天妤”，從技術(shù)與實(shí)踐角度分享了主題演講《解析：虛擬人“天妤”技術(shù)進(jìn)階之路》，“天妤”已完成行業(yè)首個(gè)超400萬面高精度模型的實(shí)時(shí)互動(dòng)直播。

作為國內(nèi)最早一批投身于虛擬數(shù)字人行業(yè)的技術(shù)從業(yè)者，王智武表示，在元宇宙概念加持與資本注入下，虛擬數(shù)字人關(guān)鍵核心技術(shù)在近一年經(jīng)歷了快速迭代與發(fā)展。虛擬人從靜態(tài)圖片廣告1.0模式、動(dòng)態(tài)視頻2.0模式，即將快速過度到虛擬人穿越直播3.0模式，并將引領(lǐng)直播帶貨等新場(chǎng)景、新機(jī)遇。他認(rèn)為，虛擬人的最大價(jià)值是它是虛擬世界的交互方式，最大優(yōu)勢(shì)是對(duì)空間與時(shí)間的穿越。

演講之初，王智武首先介紹了貫穿演講始終的主人公天妤。天妤，國內(nèi)首個(gè)文化出海的國風(fēng)虛擬人，她從壁畫穿越而來，以現(xiàn)代科技演繹中國文化，通過憑借扣人心弦的故事情節(jié)與天妤在鏡頭前的生動(dòng)表現(xiàn)，使得天妤僅上線3個(gè)月就在全網(wǎng)收獲近400 萬粉絲，相關(guān)話題覆蓋超20億人次，躋身頭部虛擬人IP之列。能夠成為一個(gè)現(xiàn)象級(jí)虛擬人IP，離不開出色的內(nèi)容表現(xiàn)力與背后技術(shù)加持。而天妤的形象生成與內(nèi)容制作的3次迭代進(jìn)化，也折射了行業(yè)內(nèi)虛擬數(shù)字人發(fā)展制作的三個(gè)階段技術(shù)迭代與升級(jí)。

1.0階段：傳統(tǒng)方式，手工制作

在1.0階段，主要利用傳統(tǒng)建模手段進(jìn)行虛擬人面部與頭部的3D建模制作，通過真人拍攝加上后期頭部CG渲染、PS合成替換，完成圖片、視頻后期合成與制作，雖然身體與服飾自然度較高，但形象建模、拍攝、手工制作周期直接影響了的內(nèi)容制作更新效率。所以，這個(gè)方式也是虛擬人1.0靜態(tài)圖片廣告模式多采用技術(shù)。

同時(shí)，在1.0版本的細(xì)節(jié)也是存在著一些細(xì)節(jié)部分的不足，在面部的自然度與毛發(fā)的細(xì)節(jié)上無法通過現(xiàn)有技術(shù)再次進(jìn)行細(xì)化，技術(shù)迭代斷層。因此，天妤在嘗試初期，傳統(tǒng)制作方式即被快速替換。

2.0階段：離線渲染，影視合成

在1.0的基礎(chǔ)上元境科技對(duì)制作路徑與形象生成內(nèi)容方式進(jìn)行了優(yōu)化升級(jí)，2.0階段天妤完成了形象的全身建模與服飾的資產(chǎn)制作，徹底擺脫了大量繁雜的拍攝工作與演員無法達(dá)到的特效動(dòng)作要求，通過純CG渲染的方式對(duì)人物面部表情、動(dòng)作、光線效果等多離線渲染，豐富了天妤在不同場(chǎng)景下的內(nèi)容制作與輸出。

純?nèi)斯し绞降膭?dòng)畫制作與影視后期合成制作流程，雖然滿足了超高精度虛擬人對(duì)內(nèi)容的持續(xù)輸出與制作合成，但制作成本高昂。

同時(shí)通過傳統(tǒng)人工制作動(dòng)畫的方式始終無法深度模仿人在說話、表達(dá)時(shí)的情感傳遞，大量的離線渲染與動(dòng)畫制作大大提高了人力與時(shí)間成本，且人物的細(xì)節(jié)始終無法與真人的細(xì)節(jié)進(jìn)行1:1的高度還原。

3.0階段：AI賦能

在1.0至2.0的過程當(dāng)中，元境科技一直在對(duì)時(shí)間、成本、效果三個(gè)技術(shù)維度進(jìn)行優(yōu)化與解析，通過對(duì)虛擬數(shù)字人的全鏈路生產(chǎn)過程的深刻理解推出了3.0階段智能技術(shù)解決方案，以自研AI算法解決各環(huán)節(jié)因周期長(zhǎng)、成本高、效果參差不齊的實(shí)際痛點(diǎn)。

動(dòng)態(tài)光場(chǎng)掃描建模技術(shù)，利用Magic Ball 對(duì)被采集人進(jìn)行360°的全方位重光照掃描，可一鍵實(shí)時(shí)生成數(shù)字虛擬形象，生成數(shù)字形象效果可達(dá)亞米級(jí)別，可見人物毛孔等超清細(xì)節(jié)，大大提高了天妤的面部、肢體、毛發(fā)等細(xì)節(jié)效果的跨越式提升，相比傳統(tǒng)建模周期相比效率提高了50%以上。

利用自研的智能綁定算法，實(shí)現(xiàn)一鍵高精度的面部與身體骨骼綁定，保障了天妤在驅(qū)動(dòng)生成內(nèi)容時(shí)，面部與肢體動(dòng)作的自然與傳神。智能毛發(fā)解析渲染算法，可高品質(zhì)對(duì)毛發(fā)進(jìn)行細(xì)致化渲染，使其展現(xiàn)效果可1:1還原真人毛發(fā)質(zhì)感，提升模型整體精細(xì)程度。

元境科技在完善AI智能生成虛擬形象技術(shù)的同時(shí)推出了首個(gè)虛擬人智能生成與驅(qū)動(dòng)的Saas平臺(tái)-元享，在解決了高效生成數(shù)字虛擬形象的同時(shí)聚合了多類型化的驅(qū)動(dòng)方式，滿足對(duì)虛擬人日常的視覺化內(nèi)容生成與輸出：口播內(nèi)容生成、線上互動(dòng)直播、多IP實(shí)時(shí)互動(dòng)、影視內(nèi)容制作、游戲角色動(dòng)畫生成等。利用自研Saas平臺(tái)中聚合自研算法與驅(qū)動(dòng)能力，完成行業(yè)首個(gè)超400萬面高精度模型的實(shí)時(shí)互動(dòng)直播的。

通過平臺(tái)內(nèi)置的，面部表情實(shí)時(shí)驅(qū)動(dòng)技術(shù)、光線智能追蹤與分布式智能云端渲染三項(xiàng)輔助智慧功能，真正實(shí)現(xiàn)了高精度模型在直播中的低延時(shí)與人場(chǎng)高度融合的完美結(jié)合。從而使虛擬人發(fā)揮真正價(jià)值與優(yōu)勢(shì)，而不是只停留在“畫中人”、“劇中人”的模式。

在分享結(jié)束前，元境科技CEO王智武表示，在未來元享平臺(tái)將繼續(xù)深入結(jié)合市場(chǎng)痛點(diǎn)，以AI為技術(shù)支點(diǎn)，通過Meta-Surfing元享SaaS平臺(tái)驅(qū)動(dòng)“低成本、短周期、高質(zhì)量”的?虛擬數(shù)字人與虛擬內(nèi)容生產(chǎn)，實(shí)現(xiàn)超寫實(shí)、沉浸式實(shí)時(shí)互動(dòng)，為各行各業(yè)數(shù)字化轉(zhuǎn)型升級(jí)做出貢獻(xiàn)。（知藍(lán)）

關(guān)鍵詞：