当前速讯：OPPO发布最新AI技术，仅需几部手机，便可生成一个能熟练舞蹈的“数字分身”

2022-08-25 16:43:56来源：中关村在线

当前，现实物理世界与虚拟数字世界从未如此特别地连接、发展着。很多人都梦想过上科幻电影演绎的生活——自由地在两个平行空间穿梭，运用虚拟化身学习、工作、娱乐，开启无限可能的第二人生。

(资料图)

OPPO正在将这样的“数字分身”自由从理想照进现实。通过自研结构化局部辐射场动态角色建模方法，OPPO在业界首次实现了自动为宽松着装人体创建动态数字孪生体的工作。AI算法仅通过分析手机摄像头拍摄的RGB视频，即可自动创建用户的“三维化身”，还原动态细节。

高效、便捷、易得，“数字分身”不再遥不可及

不穿戴全套动作捕捉设备，还要低成本、高效率、高质量的驱动虚拟世界的人物行为，是一件非常复杂且精细的事情。在操作层面，OPPO简化了三维人体采集、扫描、修复等步骤的门槛，同时大大提升了真实性和便捷性。来到OPPO数字分身实验室，模特只需在室内中央站好，舒展姿态，让几部OPPO Find X5 Pro手机进行多角度的拍摄，便可以完成人体形态的初步记录和数据收集，为更逼真的数字分身的生成打下基础。

仅需几部OPPO Find X5 Pro手机，便可以完成对模特人体形态的初步记录和数据收集

与普遍使用2D图片重建的方式不同，视频录制完成后，AI模型通过计算手机摄像头拍摄的RGB数据，可以自动生成3D人体模型，克服传统方法导致的重建误差。

AI模型通过计算手机摄像头拍摄的RGB数据，可以自动生成3D人体模型

为了进一步打造数字世界的舞蹈明星，OPPO找到专业舞者，通过对他的动态捕捉，预先锚定其舞动时的骨骼状态为节点，从而构建一组结构化的局部辐射场。

OPPO通过捕捉专业舞者的骨骼动态，构建一组结构化的局部辐射场

局部辐射场可以模拟其相应节点周围局部空间内的形状和外观，并根据身体姿态和服装样式的动态细节进行变化。值得一提的是，算法可以用残差运动（residual movements）更好体现出舞蹈时衣裙摆动的细微变化。基于此模型逻辑，神经网络可以掌握多样的舞种动作，让舞蹈梦想触手可及。未来，模型也可以不断学习，支撑更多应用场景，引领人们去亲身经历各种超越想象力的互动体验。

舞者的舞蹈姿势经过编码和渲染，仅需几小时，一个迈着酷炫流行舞步的“数字分身”最终生成。当音乐响起，孪生体化身与真实舞者同台“斗舞”，运动节拍准确、利落，脚步灵动，长裙也随着随舞步变化而轻微起伏、摇曳，与现实中的舞者别无二致。

仅需几小时，一个能熟练舞蹈的人体“数字分身”便可最终生成

立体、逼真、灵动，OPPO AI的全面突破

这一系列有趣画面的背后，是OPPO通过改进 NeRF（Neural Radiance Fields）创新的结构化局部辐射场动态角色建模方法。

传统的创建3D建模方法在观察和分离人体姿态与衣物形变之间面临着很大困难。在神经场景渲染技术的支持下，OPPO突破性地将传统NeRF模型分解为一组结构化的局部辐射场（structured local radiance fields），由身体骨架驱动，动态细节嵌入作为条件，提供了一种泛化性能更加的方案。

摒除了常见的全局规范场，局部辐射场表示方法可以更为细致的从粗到细分为三个层次：第一层是骨架运动；第二层是残差运动；第三层是时间变化细节，通过分层处理避免反向蒙皮的缺点，解决模糊性问题。由此一来，算法不仅在学习衣物logo、褶皱、层次和织物纹理等细节方面表现得更好，而且即使面对“未知”的场景，也能准确生成。不久的将来，每个人都有机会创造自己的全动画数字孪生体，在数字世界表达另一个自我。

一直以来，OPPO致力于通过技术创新为美好生活注入更多灵感。在OPPO数字分身实验室，我们将继续进行基础研究与应用，赋能千行万业。在健康领域，用户的数字分身可以还原肢体动作，帮助用户直观看到自己的动作形态与准确度，实现AI智能识别纠错和指导，甚至可以提前创造出拥有完美身材的“自己”，让居家健身更沉浸、更有趣；游戏动画设计师的创作灵感同样能与数字分身碰撞出新的火花，未来游戏或将基于真实人物动态进行塑造，从2D平面到3D立体，打造活灵活现的“真人化”原创角色；数字人作为虚拟世界的身份入场券，下一代XR融合场景、AR/VR世界中跨越时空的在线生活，也值得期待。

OPPO相信，数字分身将进一步协助人类社会发展，在娱乐、时尚、通信等领域开启前所未有的体验，激发创造活力，开启更智慧、更多可能的未来。

标签：