尼克國(guó)際兒童頻道(Nickelodeon)在圣迭戈國(guó)際動(dòng)漫展上亮相了“Rise of the Teenage Mutant Ninja Turtles VR Interview Experience(忍者神龜：崛起 VR采訪體驗(yàn))”，其中用戶可以步入青年忍者神龜?shù)氖澜?，并且在虛擬現(xiàn)實(shí)中采訪《忍者神龜：崛起》的扮演者。這種獨(dú)一無(wú)二的采訪允許用戶可以與米開朗基羅或多納泰羅進(jìn)行對(duì)話(分別由系列聲優(yōu)布蘭登·史密斯和喬什·布雷納配音)。Unreal日前采訪了尼克國(guó)際兒童頻道娛樂實(shí)驗(yàn)室高級(jí)副總裁Chris Young，以下是映維網(wǎng)的具體整理：
是什么啟發(fā)了你將VR用作“忍者神龜：崛起”動(dòng)漫展新聞發(fā)布會(huì)的媒介呢?
這個(gè)想法起源于我們?cè)诶咕S加斯NAB展會(huì)與Epic Games，Adobe和NewTek舉行的會(huì)議。我們已經(jīng)整合了一個(gè)管道，利用NewTek的NDI技術(shù)來將Adobe Character Animator傳輸至UE4中，而且我們希望在游戲引擎中進(jìn)行實(shí)時(shí)動(dòng)畫制作，VR則是近距離體驗(yàn)它的明顯方式。
你是如何在VR中與米開朗基羅和多納泰羅進(jìn)行實(shí)時(shí)雙向?qū)υ挼哪?
我們圍繞實(shí)時(shí)木偶戲進(jìn)行了大量探索，并將全身和面部表現(xiàn)捕捉傳輸至Unreal，而當(dāng)能夠結(jié)合忍者神龜?shù)臋C(jī)會(huì)出現(xiàn)時(shí)，令記者直接在實(shí)時(shí)體驗(yàn)中與我們的角色進(jìn)行對(duì)話似乎是一種創(chuàng)新體驗(yàn)。
現(xiàn)場(chǎng)體驗(yàn)是否集成了動(dòng)捕呢?
由于《忍者神龜：崛起》是2D設(shè)計(jì)風(fēng)格，我們依靠Adobe的Character Animator工具來處理動(dòng)畫，這允許我們?cè)谟糜诮巧哪Ｐ停囆g(shù)上進(jìn)行創(chuàng)作。我們有一個(gè)大型動(dòng)捕空間，其中我們正在開發(fā)幾個(gè)項(xiàng)目，采用更傳統(tǒng)的表演捕捉和一個(gè)流式傳輸至UE4的管道。
請(qǐng)你描述從創(chuàng)建初始CG/環(huán)境asset到最終采訪的工作流程(硬件和軟件，頭顯，捕捉)。
這款VR體驗(yàn)是通過Unreal引擎進(jìn)行開發(fā)。在游戲引擎中開發(fā)這種體驗(yàn)可以支持你創(chuàng)建實(shí)時(shí)交互和對(duì)話。我們使用NewTek NDI技術(shù)來體驗(yàn)米開朗基羅和多納泰羅木偶。NDI允許你通過共享網(wǎng)絡(luò)流式傳輸大型視頻文件。米開朗基羅和多納泰羅是由Adobe Character Animator進(jìn)行實(shí)時(shí)驅(qū)動(dòng)。MIDI Keyboards則用于觸發(fā)米開朗基羅和多納泰羅的各種姿勢(shì)。這些MIDI Keyboards是在采訪中進(jìn)行實(shí)行操作。NDI允許你從Character Animator導(dǎo)出木偶，并由其他各種使用這些實(shí)時(shí)動(dòng)畫進(jìn)行體驗(yàn)和合成的機(jī)器進(jìn)行拾取。
當(dāng)用戶站在綠幕前的時(shí)候，他們將合成至紐約市的屋頂，并且尼克兒童頻道的角色來作為頭像。為了保持VR查看器的性能并創(chuàng)建高質(zhì)量的輸出，我們是通過提供網(wǎng)絡(luò)觀眾版本的體驗(yàn)來完成合成。這一觀眾版本將前景層和背景層分開。然后，這些圖層將在Resolume中顯示，并與實(shí)時(shí)動(dòng)作素材進(jìn)行實(shí)時(shí)合成。最終合成將通過NDI導(dǎo)出Resolume。
實(shí)況錄像的最終合成，VR玩家的POV，以及兩只忍者神龜?shù)奶貙戠R頭和廣角鏡頭都用TriCaster進(jìn)行錄制。TriCaster允許你在采訪過程中進(jìn)行實(shí)時(shí)編輯，能夠在完成采訪后通過拇指驅(qū)動(dòng)器將ISO記錄和最終節(jié)目編輯交給記者。
我們?cè)谇熬爸惺褂?D平面的組合來作為背景元素和CG網(wǎng)格，從而獲取VR查看器的正確視角。為了在3D空間中復(fù)制2D外觀，我們將Maya中的變形網(wǎng)格對(duì)象帶到UE4，直到我們認(rèn)為我們已經(jīng)為風(fēng)格化的手繪環(huán)境捕捉到正確的視角。回到Maya，我們從VR玩家的POV向背景幾何投射平面，并使用實(shí)際的Photoshop筆刷在這些平面UV上繪制紋理。這完美地捕捉了手繪的背景畫風(fēng)格。
這款體驗(yàn)是否使用了與為Imax VR中心開發(fā)的尼克兒童頻道體驗(yàn)類似的技術(shù)呢?這款動(dòng)漫展體驗(yàn)是如何作為該技術(shù)的延伸呢?
我們將許多用于處理VR pawns和VoIP的代碼，以及我們?yōu)镾limeZone VR創(chuàng)建的一些CG角色asset融入至忍者神龜體驗(yàn)。
你們?yōu)槭裁催x擇在Unreal引擎中開發(fā)這種體驗(yàn)?zāi)?
我們?cè)啻纬晒υ赨E4中快速完成了從原型到全功能版本的開發(fā)過程。結(jié)合在UE4中創(chuàng)建VR而獲得的知識(shí)，以及在Blueprints中模擬想法的能力，我們能夠快速進(jìn)行迭代并自由專注于創(chuàng)建酷炫的元素。
你們采用了哪個(gè)版本的Unreal引擎呢，你們又是否經(jīng)常使用任何喜愛的Unreal引擎功能呢?
我們用了4.19。由于我們的開發(fā)往往是實(shí)驗(yàn)性質(zhì)，而且周期很短，因此我們非常積極地更新至最新版本的游戲引擎。我們?cè)诤艽蟪潭壬弦蕾囉贜ewTek的NDI插件，以及將視頻流式傳輸?shù)経E4的alpha支持。
“忍者神龜”系列的動(dòng)畫師是否有與動(dòng)漫展VR體驗(yàn)的創(chuàng)作者進(jìn)行合作呢?
我們與創(chuàng)作者和動(dòng)畫團(tuán)隊(duì)進(jìn)行了密切合作，共同將節(jié)目的外觀和動(dòng)畫風(fēng)格融入至VR體驗(yàn)。將2D外觀轉(zhuǎn)換為VR需要花費(fèi)很多精力。
你們面臨的最大挑戰(zhàn)是什么?
現(xiàn)場(chǎng)方面，以及同步音頻/視頻/游戲資源，我們同時(shí)需要一個(gè)向伯班克工作室和動(dòng)漫展現(xiàn)場(chǎng)發(fā)送和接收數(shù)據(jù)的機(jī)器網(wǎng)絡(luò)，一切都需要大量的預(yù)先計(jì)劃。
在設(shè)計(jì)需要?jiǎng)討B(tài)實(shí)時(shí)更新的VR體驗(yàn)時(shí)，制作考量有何不同?
這需要在一個(gè)現(xiàn)場(chǎng)直播環(huán)境中整合動(dòng)畫，游戲開發(fā)，真人表演，木偶戲，虛擬電影攝影技術(shù)。一切都需要融為一體，而我們以前從未做過這樣的事情。
尼克國(guó)際兒童頻道(Nickelodeon)在圣迭戈國(guó)際動(dòng)漫展上亮相了“Rise of the Teenage Mutant Ninja Turtles VR Interview Experience(忍者神龜：崛起 VR采訪體驗(yàn))”，其中用戶可以步入青年忍者神龜?shù)氖澜纾⑶以谔摂M現(xiàn)實(shí)中采訪《忍者神龜：崛起》的扮演者。這種獨(dú)一無(wú)二的采訪允許用戶可以與米開朗基羅或多納泰羅進(jìn)行對(duì)話(分別由系列聲優(yōu)布蘭登·史密斯和喬什·布雷納配音)。
尼克國(guó)際兒童頻道(Nickelodeon)在圣迭戈國(guó)際動(dòng)漫展上亮相了“Rise of the Teenage Mutant Ninja Turtles VR Interview Experience(忍者神龜：崛起 VR采訪體驗(yàn))”，其中用戶可以步入青年忍者神龜?shù)氖澜?，并且在虛擬現(xiàn)實(shí)中采訪《忍者神龜：崛起》的扮演者。這種獨(dú)一無(wú)二的采訪允許用戶可以與米開朗基羅或多納泰羅進(jìn)行對(duì)話(分別由系列聲優(yōu)布蘭登·史密斯和喬什·布雷納配音)。
尼克國(guó)際兒童頻道(Nickelodeon)在圣迭戈國(guó)際動(dòng)漫展上亮相了“Rise of the Teenage Mutant Ninja Turtles VR Interview Experience(忍者神龜：崛起 VR采訪體驗(yàn))”，其中用戶可以步入青年忍者神龜?shù)氖澜?，并且在虛擬現(xiàn)實(shí)中采訪《忍者神龜：崛起》的扮演者。這種獨(dú)一無(wú)二的采訪允許用戶可以與米開朗基羅或多納泰羅進(jìn)行對(duì)話(分別由系列聲優(yōu)布蘭登·史密斯和喬什·布雷納配音)。
來源：yivian
