一個(gè)由Facebook研究人員組成的團隊創(chuàng )建了一個(gè)端到端系統，該系統可以幫助用戶(hù)在幾秒鐘內將其在智能手機上拍攝的照片轉換成3D圖像。

新框架為用戶(hù)提供了一種更實(shí)用的3D攝影方法，可以解決多個(gè)設計目標。用戶(hù)可以通過(guò)自己的移動(dòng)設備訪(fǎng)問(wèn)該新技術(shù)，并且可以無(wú)縫地將2D輸入圖像實(shí)時(shí)轉換為3D，不需要任何高級攝影技能。

處理僅需幾秒鐘，并且該方法足夠強大，幾乎可以處理任何照片-新照片或以前拍攝??的照片。

在上個(gè)世紀，攝影經(jīng)歷了幾次技術(shù)“升級”，提高了沉浸感。“最初，所有照片都是黑白和顆粒狀的，然后是彩色攝影，然后數字攝影為我們帶來(lái)了更高質(zhì)量和更高分辨率的圖像，” Facebook的工作和研究科學(xué)家約翰內斯·科普夫(Johannes Kopf)說(shuō)。

“最后，這些天我們有了3D攝影，這使照片感覺(jué)更加生動(dòng)逼真”。自2018年底以來(lái)，2D到3D照片技術(shù)已在Facebook上作為“照片功能”提供。

為了利用此功能，最初要求Facebook用戶(hù)使用配備雙鏡頭相機的手機拍攝照片?，F在，Facebook團隊添加了一種算法，該算法可以根據2D輸入圖像自動(dòng)進(jìn)行深度估計，并且該技術(shù)可以直接在任何移動(dòng)設備上使用。

為了完善新系統，研究人員在數百萬(wàn)對公共3D圖像及其隨附的深度圖上訓練了卷積神經(jīng)網(wǎng)絡(luò )(CNN)，并利用了Facebook AI開(kāi)發(fā)的移動(dòng)優(yōu)化技術(shù)。

該框架還結合了2D輸入圖像的紋理修補和幾何捕獲，以將其轉換為3D，從而使圖像更加活躍和生動(dòng)。

直接從用戶(hù)移動(dòng)設備轉換用戶(hù)2D照片的每個(gè)自動(dòng)化步驟都經(jīng)過(guò)優(yōu)化，可以在各種品牌和型號上運行，并且能夠與設備有限的內存和數據傳輸功能一起使用。該團隊說(shuō)：“用戶(hù)立即得到滿(mǎn)足，因為3D結果實(shí)際上是在幾秒鐘內產(chǎn)生的。”

Facebook的研究人員一直在嘗試創(chuàng )新的方式來(lái)創(chuàng )建高質(zhì)量的，身臨其境的3D體驗，從而推動(dòng)了計算機視覺(jué)，圖形和機器學(xué)習的發(fā)展。在未來(lái)的工作中，該團隊正在研究機器學(xué)習方法，這些方法可以對使用移動(dòng)設備拍攝的視頻進(jìn)行高質(zhì)量的深度估計。

Facebook研究人員將在8月的SIGGRAPH 2020會(huì )議上展示其系統。