新智元报道

编辑：桃子 小咸鱼

【新智元导读】Connect 2021大会上，小扎将Facebook改名为Meta，全力奔向元宇宙。而在许多人看来，这只是元宇宙的PPT。其实，Meta一直在开展Codec Avatars项目，目前已能创建出逼真的虚拟角色，连头发丝都根根分明。

扎克伯格也来挑战「光剑变装」了。

你以为是这样的？NoNoNo!

小扎没有唐艺昕那样的炫酷，倒是多了几分滑稽。

右手背后藏剑，左手亮剑：一瓶BBQ蘸汁。

这是小扎在「元宇宙」中虚拟化身（Avatar），这一亮剑视频让许多人纷纷转发。

自从Facebook更名为Meta，正式进军元宇宙之后，「元宇宙」这个词的热度就一直未减。

而与「元宇宙」一起被频繁提及的，就是「化身」（Avatar）这个词。

「化身」，通俗意义上讲，就是人们在虚拟世界里的形象。

12月10号，「元宇宙」先锋Meta开放了自家的虚拟世界平台Horizon Worlds。

当用户进入Horizon Worlds后，就需要创建一个3D虚拟化身。

有了化身，用户就可以在这个自定义的世界中畅快玩耍。

不过，略显尴尬的是，这些avatar的表情都非常僵硬。

所以，虽然目前的3D虚拟化身也勉强能用，但离着科幻电影，比如「头部玩家」里那种逼真的化身形象，还有十万八千里。

而Codec Avatars项目便代表了Meta在虚拟化身领域所做的努力。

「元宇宙」不是PPT，Meta真在做

小扎改名Facebook的决心也不是闹着玩儿的。

若想在元宇宙中实现真正的交互，虚拟化身可是打开元宇宙这道门的任督二脉。

Codec Avatars这一项目旨在实现一个能够捕获和表示用于XR的逼真头像的系统。

基于3D捕捉和AI技术，Codec Avatars可以让人们快速能够轻松地构建属于自己的虚拟化身，并使虚拟空间中的交互像在现实世界一样自然。

最初这个项目是以高质量的头像演示开始，后来逐渐实现构建全身的虚拟化身。

除了简单地扫描一个人的身体之外，一个主要的挑战是让它以现实的方式移动——更不用说让整个系统能够实时运行，以便化身可以在交互式环境中使用。

在Connect 2021大会上，研究人员Yaser Sheikh展示了该团队最新的成果——全身视频编解码器（Full-body Codec Avatars）。

他表示现在Codec Avatars支持更复杂的眼部运动、面部表情、手部和身体姿势。

此外，Meta还展示了虚拟化身在对不同的光照条件和环境下实现头发和皮肤的真实渲染。

那么，衣服也可以在元宇宙中实现真实模拟。

扯一扯弹性不错，抖动一下也会有褶皱。

身体细节、衣服都能做到现实还原，还有高保真的虚拟空间。

Meta就建造了一个虚拟公寓，公寓中所有物品都是现实世界的映射。

这样用户在虚拟空间中移动物体或者交互都能与物理空间实现同步。

目前，这似乎是为公司构建一个映射的真实世界环境的「最佳案例」场景来进行实验。

进入元宇宙后，手动跟踪也同样重要。如果在物理世界中大甩手臂实现交互，不仅累，而且也不雅观。

为此，Meta一直在研究一种更加微妙自然的方法，即通过EMG腕带进行XR输入。

前段时间，Meta还推出了一款触觉启动手套，都是为了实现在元宇宙中的新交互所做的努力。

如何构建Codex Avatars？

Meta开始制作Codex Avatars的契机要追溯到7年前。

2014年，卡内基梅隆大学机器人研究所旗下的一家3D捕捉实验室Panoptic Studio的负责人Yaser Sheikh遇到了Oculus首席科学家Michael Abrash，两人聊得非常投机。

Michael Abrash

2015年，Yaser Sheikh加入了Facebook（现Meta），从那以后便一直领导着Codex Avatars研究团队。

Yaser Sheikh

「要想打造一个逼真的化身，基础在于测量」，Codex Avatars研究科学家托马斯·西蒙说。

「化身要以假乱真靠的是精确的数据，这需要良好的测量。因此，构建真实化身的关键是找到一种方法来测量人类表情中的物理细节，比如一个人眯起眼睛或皱起鼻子的方式。」

在匹兹堡实验室的Codec Avatars团队，使用了两个主要的模块来测量人类的表情：编码器和解码器。

首先，编码器使用摄像头来捕捉受试者正在做什么，然后将捕获的信息组装成一个唯一的编码，用来表示一个人的身体和环境状态，这个编码可以随时发送到任何需要的地方。

然后，解码器再将该编码转换为视频信号。

普通的智能手机摄像头也能拍摄生动的视频。不过，Codec Avatars可是海量物理数据和复杂软件的结合，比想象中要复杂得多。

Codec Avatars项目在捕捉人脸细节时，使用了数百个高分辨率相机，而每个相机又会以每秒1 GB的速度捕获数据。

这是什么概念呢？

打个比方，这些相机三秒钟的记录的数据就足以装满一个512GB的磁盘。

而Codec Avatars团队持续记录大约15分钟，这已经到达了他们现有硬件条件的极限，但尽可能多的数据也为创建最逼真的虚拟头像打下了基础。

Codec Avatars团队正在使用这些数据来训练AI系统，从而让AI可以从视频中快速构建虚拟头像。

Sheikh说：「我们目前已经可以还原发型夸张的人的3D头像，甚至还原戴着脑电采集帽的人的头像也不在话下。」

「这是世界上最先进的能够自动生成人类的真实数字肖像的方法之一。它提供了一种虚拟的面对面交流的新方式，将来可以广泛推广。」

而随着Codec Avatars的出现，人们对「元宇宙」社交的接受度会不会越来越高呢？

参考资料：

https://www.roadtovr.com/meta-reality-labs-2021-research-and-development/

https://www.theverge.com/2021/10/28/22751177/facebook-meta-codec-avatar-real-time-environment-rendering-neural-interface https://tech.fb.com/codec-avatars-facebook-reality-labs/ http://www.diankeji.com/vr/47334.html

https://gizmodo.com/mark-zuckerberg-is-a-bbq-sauce-obsessed-killer-in-new-m-1848135459

责任编辑：kj005