加利福尼亚山景城,2019年11月21日-Google的计算机科学家已经开发了一种用于高质量,可恢复性能捕获的系统。称为The Relightables的体积捕获系统可以捕获3D人体表演的全身反射,并通过增强现实(AR)或电影和游戏中的数字场景将它们无缝融合到新环境中。

该团队设计了一种新颖的有源深度传感器来捕获12.4-MP深度图。然后,它设计了一种混合的几何和机器学习重建管道,以处理高分辨率输入并生成体积视频。然后,研究人员通过利用以60 Hz采集的两个交替的颜色梯度照明图像中包含的信息,为动态表演者生成时间上一致的反射率图。

Google团队对记录在自定义测地线球体上的主题进行了演示,其中该自测线球体配备了331个自定义彩色LED灯,高分辨率相机阵列和一组自定义高分辨率深度传感器。该系统能够从近100个摄像头每秒捕获约65 GB的原始数据。它的计算框架使数据能够在此规模下得到有效处理。 

Relightables系统可以捕获人的反射信息,即照明与人的皮肤交互的方式。它可以记录人们在体积内自由移动的情况,从而可以在任意环境下重新播放动画。研究人员说,该系统结合了在任意环境下现实地照亮人类的能力,以及自由视点体积捕获和更高水平的几何精度带来的更多动态性能。 

从历史上看,照相机从单一角度和光照条件下记录了人们。Relightables允许用户记录一个人,然后从任何角度和照明条件查看该人,从而无需绿屏来创建特殊效果,并允许更灵活的照明条件。 

表演者与环境之间的空间,光线和阴影的相互作用对于营造一种临场感至关重要。除了剪切和粘贴3D视频捕获之外,Relightables系统还使用户能够记录一个人,然后无缝地将该人放置到新的环境中,无论是在自己的空间中进行AR体验,还是在虚拟现实体验中,例如电影,或游戏。 

当将按体积捕获的人类表演放到任意计算机生成的场景中时,Relightables系统可以显着提高现实水平。Google团队计划在2019年11月17日至20日在澳大利亚布里斯班举行的ACM SIGGRAPH Asia上展示从捕获到处理再到展示的The Relightables系统的组件。