數十人正在賓夕法尼亞州匹茲堡的Facebook Reality Lab工作，研究可以重新定義21世紀通信的超現實(shí)化身。我通過(guò)電話(huà)與Yaser Sheikh談話(huà)，Yaser Sheikh是卡內基梅隆大學(xué) 副教授 ，自2015年起在該市為Facebook開(kāi)展VR研究。謝赫在 本周發(fā)布的技術(shù)博客文章中提供了背景 信息，詳細介紹了該公司對超現實(shí)化身的研究。我通過(guò)電子郵件跟進(jìn)Facebook，以便在通話(huà)結束后進(jìn)行澄清。
“Facebook現實(shí)實(shí)驗室匹茲堡可容納近100人，”該電子郵件解釋道。“為了適應團隊的增長(cháng)，FRL匹茲堡將在今年晚些時(shí)候搬進(jìn)位于匹茲堡的一座更大的建筑。”
這表明對團隊的未來(lái)進(jìn)行了大量投資。該小組也不是Facebook唯一一個(gè)研究更逼真和個(gè)性化頭像的人。為了清楚起見(jiàn)，Facebook表示這種技術(shù)距消費者耳機還要多“幾年”。
Facebook本周詳細介紹了頭像系統“Codec Avatars。”過(guò)去幾年來(lái)，Facebook和Oculus開(kāi)發(fā)者大會(huì )一直在討論這項工作。然而，這些最新細節提供了對工作及其路徑的深入了解，這些工作有朝一日可能將研究納入航運產(chǎn)品。
頭像創(chuàng )作
為了創(chuàng )建每個(gè)頭像，Facebook使用一個(gè)專(zhuān)門(mén)的捕捉工作室，由132個(gè)指向中心的攝像頭組成。在一個(gè)人制作各種面部表情的幾個(gè)小時(shí)后，系統會(huì )生成一個(gè)獨特的照片級逼真的化身臉部。另一個(gè)新建的系統捕獲尸體。
“創(chuàng )建栩栩如生的頭像目前需要在Facebook Reality Lab的匹茲堡辦事處使用高度定制的相機和麥克風(fēng)系統捕獲大量高質(zhì)量的研究參與者的音頻和視頻，”來(lái)自Facebook的電子郵件解釋道。“這些數據用于訓練人工智能系統，有朝一日可以讓用戶(hù)通過(guò)幾個(gè)快照或視頻快速輕松地構建他們的編解碼頭像。”
由于顯而易見(jiàn)的原因，當前的流程不會(huì )與消費者合作，因此研究的主要焦點(diǎn)是使用機器學(xué)習來(lái)生成這些細節的化身。有一天，你在Facebook或Instagram上現有的照片就足夠了。我問(wèn)Sheikh他是否嘗試將自己的照片從Facebook提供給它的系統，看看他是否可以用它來(lái)構建一個(gè)化身。他說(shuō)，在嘗試之前，他們需要更多地了解光與皮膚的相互作用。
“當我們做這樣的工作時(shí)，我們希望確保它得到用戶(hù)的同意，”他補充道。
捕獲研究
為了駕駛這些頭像，Facebook在頭戴式捕捉研究設備的內部構建了一個(gè)帶有攝像頭的系統 - 其中一個(gè)位于鼻子間隙中。
結果令人印象深刻。
VR頭戴式耳機內部相對較暗，您不希望用光線(xiàn)遮擋用戶(hù)?？梢允褂萌搜劭床坏降募t外燈照亮特征。這些類(lèi)型的燈用于Oculus Rift“Constellation”位置跟蹤系統，并且通常用于眼睛跟蹤。Facebook在這里使用相同的技術(shù)來(lái)闡明捕獲系統中的功能。
其他方法
Facebook在加利福尼亞州的索薩利托(Sausalito)有一個(gè)獨立的團隊，致力于采用不同的逼真方法。
“這涉及探索可以與任何虛擬環(huán)境互動(dòng)的基于物理的化身，并結合生物力學(xué)，神經(jīng)科學(xué)，運動(dòng)分析和物理驅動(dòng)模擬等領(lǐng)域的基礎研究，”Facebook解釋說(shuō)。“這種技術(shù)仍然依賴(lài)于實(shí)時(shí)數據捕獲，就像Codec Avatars一樣，但它不是驅動(dòng)神經(jīng)網(wǎng)絡(luò )的實(shí)時(shí)傳感器數據，而是驅動(dòng)一個(gè)受人體解剖學(xué)啟發(fā)的基于物理學(xué)的模型。”
Facebook應該在今年晚些時(shí)候更多地分享這種方法。
長(cháng)期研究，但仍然遙遠
Facebook的Oculus多年來(lái)一直在研究面部追蹤和逼真的化身。在SIGGRAPH 2015上，Oculus 與USC合作進(jìn)行的研究 揭示了一種硬件原型，其笨重的臂與開(kāi)發(fā)套件相連。
耳機泡沫襯里中的附加傳感器將讀取相機被阻擋的表情。
匹茲堡的FRL沒(méi)有涉及早期的研究。Facebook正在“通過(guò)可能的解決方案”，Sheikh分享了一些“奇跡”，需要為此成為主流。他說(shuō)，總的來(lái)說(shuō)，他們的目標是最終將技術(shù)轉移到產(chǎn)品團隊。然而，他警告說(shuō)，他們首先需要弄清楚如何使用提供的最少量信息來(lái)制作逼真的化身。
