文 | 王毓嬋 編 | 張信宇
11 月 7 日，“進入外太空”將近 5 個月后，小諍傳回了她行走在火星表面的視頻。這條視頻展示了火星地表的景色和氣象變化，在 B 站獲得了 15 萬播放和 700 多條評論。
小諍的身份是“新華社數字記者”、“全球首位數字航天員”，她由新華社媒體融合生產技術與系統國家重點實驗室與騰訊互娛旗下 NExT Studios 聯合打造，首次亮相于 6 月 17 日神舟十二號載人飛船發射的當天。按照規劃，她未來會替代真人記者，完成在火星的新聞報道任務。
火星上的小諍
“這次火星之旅，是在多場景數字人資產運用取得了一定積累之后，面向下一階段——‘大規模可交互數字場景’開展的關鍵嘗試。你可以說它面向全真互聯網的超級數字場景雛形?！盢ExT Studios 新技術研發中心副總監葛誠說。
為小諍提供技術支持的 NExT Studios （官方稱作“騰訊互娛新體驗與技術部”）是一家騰訊互娛旗下的電子游戲開發商，于 2017 年 4 月在中國上海成立。NExT Studios在創作超寫實數字航天員之前，還發布過實時高保真數字人 Siren（塞壬）等。
NExT Studios 新技術研發中心副總監葛誠參與了對小諍和塞壬等數字人的塑造工作，也見證了近兩年來該領域技術水平的提升——2017 年，為了創作塞壬，NExT Studios 花了四個跨國團隊將近一年的時間。而今年，小諍從無到有，只用了 NExT Studios 15 名工程師的 3 個月。
小諍
以下為 36 氪與葛誠的采訪實錄：
36氪：小諍在火星的這一期視頻是如何誕生的？Next Studios 做了哪些工作？
葛誠：這期高沉浸火星場景視頻主要圍繞小諍探秘火星展開，新華社負責總策劃、腳本分鏡設計以及人工智能語音合成等工作；NExT Studios 負責 3D 資產制作，場景搭建，特效仿真，音頻制作，渲染合成等。
36氪：你們 2017 年創作塞壬時投入了很大的時間和人力成本，今年創作小諍就快了很多，效率是怎么提升的？
葛誠：可以從兩個方面解釋：一是塞壬追求的是和真人一模一樣，而小諍是超寫實，即 Artist 以真人為基礎加以創作，所以她其實并不需要像某個真人，省去了不少 LookDev 的工程量；二是我們 2018 年做完塞壬之后，搭建了一條數字人制作管線 xFaceBuilder?。
從建模、綁定到動畫，這條管線貫穿了數字人最關鍵的人臉制作的流程。xFaceBuilder? 幫我們省下了很多時間，所以我們僅僅花了兩個半月，就為小諍做出了第一個視頻。
36氪：在新華社的 B 站視頻封面上寫著一行字“按任意鍵進入游戲”，這是什么意思？未來普通人能夠跟小諍有更多互動嗎？
B站視頻封面截圖
葛誠：高沉浸互動數字場景是個有魅力的方向，借助 AI 和實時圖形技術，我們希望能讓普通人也能和高沉浸的數字內容互動。
36氪：小諍此次傳回的行走在火星表面的視頻看起來比之前復雜得多，Next Studios 是如何完成場景制作的？
葛誠：這次是我們第一次使用 UE5 實時出片，主要探索的是大場景、海量高解析度模型在 UE5 中的極限表現。角色資產的制作流程上，我們還是依靠自研的 xFaceBuilder 和 xMoCap（基于光學動捕的動畫生產管線）兩套管線，場景制作我們引入了 Houdini 過程化資產生成（PCG）能力，加速了場景資產的生產效率。
這次整個場景和角色資產從無到有，用了不到 3 個月時間，而且大量資產是可復用的，可能會用于未來的實時互動場景。
36氪：xFaceBuilder 可以被應用在游戲開發中嗎？
葛誠：可以。我們本身就是希望這套流程既可以生產數字人，也可以生產游戲角色。實際上，騰訊已經有項目開始使用 xFaceBuilder 完成了游戲角色的建模、綁定和動畫制作等工作。
36氪：未來 xFaceBuilder 有可能會被開放出來嗎？
葛誠：目前在騰訊內部它其實已經是一個開放狀態了。但我們還需要打磨，因為它不僅要支持虛擬人，還要支持游戲角色，這個打磨的過程可能需要一兩年。
36氪：從技術角度來說，創造虛擬人的底層基礎設施已經比較完善了。最近有不少虛擬人網紅出現，其中有些虛擬人甚至是只靠一個人的力量被創作出來的。未來創作和運營虛擬人會成為一件沒有技術門檻的事情嗎？
葛誠：整個虛擬人的制作分兩個階段，先是模型和綁定的制作，再是動畫制作。前一個階段相當于把模具做好，后一個階段相當于用模具來生產產品。
把靜態模型做到“好看”并不難。在電影 CG 行業，一些資深的模型師一個人就能調出非常好看、非常像真人的模型，吃的是模型師的手上功夫。更難的還是讓它動起來也很自然傳神，這就需要精細的動畫技術，比如：物理仿真，綁定，動捕。我們在電影里經常能看到很像真人的CG角色，但讓它實時地動起來就很困難。
小諍的面部細節
其次是動畫制作。如果你想獲得非常寫實的畫面，就需要有比較好的動捕設備、算法流程、動畫TA、動畫師。所以要讓動畫做出足夠高的可信度也是一件很高成本的事。
今年四月，英偉達在發布會上展示了“虛擬黃仁勛”，但畫面僅有約 15 秒。有人問：既然他們大費周章做了數字人，為什么不把老黃的整個演講用虛擬畫面呈現出來呢？科技目前還沒有進步到可以非常快速且低成本地生產出電影級的動畫。
當然，國內外很多 Researcher 和工程師都在為這個目標努力。比如 Epic 的 Metahuman 可以快速定制出高質量的角色，但是目前 Metahuman 有限的模板庫還是很難滿足模型師的創作需求。比如用 Metahuman 就很難捏出數字航天員小諍。
36氪：跨越恐怖谷（注：恐怖谷，由于機器人與人類相似，兩者的細微差別會顯得非常刺眼恐怖，使人有面對僵尸的感覺。）還是一個困難的工作嗎？
葛誠：實時互動的寫實向數字人，跨越恐怖谷依然是件很困難的工作，即便塞壬也就是剛跨過了恐怖谷的邊緣。專業人士仔細看，還是可以看出來她不像真人的地方。當數字人趨近恐怖谷邊緣時，普通人對數字人的恐懼感就趨向輕微。
36氪：小諍可以算是 NExT Studios 第一個投入實用場景的虛擬人，之前為什么沒有對塞壬進行商業化運營？虛擬人的商業化時機已經成熟了嗎？
葛誠：我們小團隊在做前沿探索的時候，不會特別去考慮它的應用場景，因為這會限制探索的方向和深度。一旦確定某個方向具備了未來商業化的可能，我們會用 3-5 年的時間去打磨這條線上的技術。之前做塞壬和 Matt（NExT Studios 的另一個虛擬人）的時候，其實都沒有過于糾結商業化，但是接下來做的一些新角色，我們會優先考慮跟商業化、運營相關的技術。
從 2017 年開始，國內已經有不少企業加入了虛擬偶像賽道，這個賽道目前來看是紅紅火火，但實際上平均利潤率還是比較低的。大家并沒有找到特別好的方式可以讓一個角色像真人 IP 一樣運轉起來，這受限于技術、內容，更多的是商業模式還需要進一步探索。
但是我相信虛擬偶像產業目前還處在非常初級的階段。接下來一定會有一個世界，可能是Metaverse（元宇宙），來承載風格各異的虛擬偶像。在那個世界里，每位虛擬人都擁有自己的 ID，也許還會有建立在 NFT（非同質化代幣）上的交易。這樣虛擬人就能與真人、真實世界建立更完整的商業關系和情感紐帶。
現在各家單打獨斗做虛擬人，今天做個屏保，明天做個直播，后天帶個貨……從 IP 角度來說，其實尚未形成虛擬 IP 成長的最好土壤，也就是“如同真實世界的數字世界”。
36氪：目前來看，虛擬人還是被集中應用在了娛樂產業中。除了當偶像，虛擬人未來可能還會有什么樣的應用場景？
葛誠：未來虛擬人可能會成為人們遠程溝通的媒介，但它不是現有視頻聊天軟件的衍生品。因為當一個可信的虛擬世界徐徐展開的時候，虛擬 IP 不再是現實世界中的一個附加品，而是虛擬世界中“實實在在”的存在。兩個世界的界限也會漸漸打破。當下，最重要的是精進數字內容技術，在大眾間打造高可信度的社交紐帶。我們在朝著這個方向努力。
