Meta AI 研究人員正趨向于呈現逼真化身腿部顯示,而無需額外的追蹤硬件。
開箱即用,目前的 VR 系統只追蹤用戶的頭部和手部位置。用戶的肘部、軀干和腿部的位置可以使用一類稱為反向運動學(IK)的算法來估計,但這有時只對肘部準確,很少對腿部進行校正。對于每組給定的頭部和手部位置,都有太多潛在的解決方案。

鑒于 IK 的局限性,如今的一些 VR 應用程序只顯示用戶手部,許多應用只示用戶的上半身。使用 SteamVR 追蹤支持的 PCVR 追蹤器,例如 HTC Vive Tracker,但購買足夠追蹤器的用于身體追蹤需要花費數百美元,且大多數游戲都不支持。
去年 9 月,Meta AI 研究人員展示了一個名為 QuestSim 的強化學習神經網絡,該網絡僅使用 Quest 2 及其手柄的追蹤數據即可估計合理的全身姿勢。但 QuestSim 的延遲為 160 毫秒,在在 72 Hz下超過 11 幀。它只適合在看別人的腿部化身,而不是自己,也沒有提到系統的運行時性能或運行在什么 GPU 上。
在一篇名為《Avatars Grow Legs( AGRoL )》的新論文中,其他 Meta AI 研究人員和實習生 Yuming Du 展示了一種新方法,他們聲稱該方法“實現了最先進的性能”,計算要求低于以前的 AI 方法。AGRoL 是一種擴散模型,就像最近的 AI 圖像生成系統,如 Stable Diffusion 和 OpenAI DALL·E 2。

與其他擴散模型和大多數 AI 研究論文不同,研究人員表示,AGRoL“可以在 NVIDIA V100 上實時運行”,運行速度約為 41 FPS。雖然 NVIDIA V100 是一個 15000 美元的 GPU,但相信經過幾年優化,最終將能在智能手機上運行。例如,Google Assistant 和 Siri 中使用的語音識別和合成模型就是這種情況。
盡管如此,沒有跡象表明 AGRoL 身體姿勢將很快出現在 Meta Quest 產品中。Meta 確實宣布虛擬化身將在今年獲得腿部支持,但它可能會由技術上不那么先進的算法提供支持,并且僅適用于其他人的化身,而不是自己的化身。