数字人作为构建元宇宙内容的基石，是元宇宙细分中最早可以落地并可持续发展的成熟场景。目前，虚拟偶像、电商投放、电视主持人、虚拟主播等商业应用已经得到大众认可。在元宇宙中，核心内容之一就是数字人，因为数字人不仅是现实世界中人类在元宇宙中的“化身”，也是我们在元宇宙中进行各种互动的重要载体之一。
众所周知，创建和渲染逼真的数字人物是计算机图形学中最困难的问题之一。近日，在51CTO主办的MetaCon宇宙科技大会《游戏与AI交互》分会场中，Unity大中华区平台技术总监董阳通过一系列Demo演示，在《Unity数字人技术―开启元宇宙之旅》的主题分享中详细介绍了Unity高清渲染管道技术。
一、Unity介绍
Unity是目前世界上支持最多的计算平台，现在它支持近30个计算平台，包括PC、Mac、Linux、iOS、Android、Switch、PlayStation、Xbox以及所有AR/VR和MMAT设备。Unity真的是目前三维互动内容制作的最佳选择。我们知道，高质量渲染用于在一些配备独立显卡的机器上渲染高质量的内容。现在真实感数字人的技术依赖于高质量的渲染技术。
目前，Unity中国团队有300多名全职员工，全球近7000人，其中70%以上是工程师。总部设在上海，在北京和广州设有办事处，有相应的员工在那里工作。
二、Unity引擎的强大之处在哪些方面？
目前Unity还不是开元引擎，但是它的模块是高度可定制的。
图中显示了Unity目前支持的平台。一些最常见的平台可以在这些图标上找到。这大概是近年来最火的几款游戏了，这些图标中有些是大家耳熟能详的，比如王者荣耀、使命召唤、英雄联盟、原神、糖豆侠、闪耀暖暖……事实上，在国内外的全球Android和iOS榜单中，最赚钱的前1000款游戏中，70%以上都是Unity创造的。一半以上的switch游戏都是Unity做的。你可能不相信，一款高质量的游戏看起来非常复杂，而在Xbox上上线的爆款游戏居然是一个人开发的，这充分说明了Unity引擎的灵活性和工具链的威力。
Unity正在向高性能方向发展。分别解释三个主要的dots系统组件，C #作业系统，ECS和Burst编译器。事实上，# C Jobsystem可以让开发出来的游戏或者应用充分利用集成CPU并发运行的计算能力，因为现在面向对象的编程模式是生产的内容，运行在主线程上。第二个是实体组件系统(ECS)，通过它可以将数据从系统也就是游戏逻辑中分离出来，更容易维护，对内存的使用也更友好。突发编译器可以为目标平台生成更高级的运行机器码。
另一方面，高画质也是Unity非常好的一个特点。如果只是说要用昂贵的PC或者Xbox，玩站机来渲染精美的画面，游戏的通用性其实太差了。通过Unity XRP，也就是所谓的可变渲染管道，我们做了两个开箱即用的渲染管道，一套是通用渲染管线URP，第二套是HDRP（高清渲染管线）.顾名思义，URP所谓的通用渲染管道就是所有平台都支持。无论是开发VR游戏、AR游戏还是手游之类的游戏，都可以使用URP进行渲染。HDRP指的是PC mac Linux，Xbox1和basestation4及以上，还支持实时光线追踪。
三、高清渲染管线如何实现数字人的高画质渲染？
《异教徒》数字人其实并不是Unity出品的第一个数字人，但是《异教徒》数字人有其独特性，因为它非常逼真，形成了完整的工作流程。要实现《异教徒》这样的高质量渲染，高清渲染管道必不可少。
《异教徒》这个数字人其实是有原型的。他是伦敦的一位英国剧作家，名叫杰克。通过扫描他的数据，也就是他全身的数据，重点是扫描他的头部数据，然后把整个数字人做出来。表情非常逼真，并且使用了4D立体视频技术来制作表情动画。其实这项技术虽然可以做出非常逼真的表情，但是也有一个缺陷，就是不能实时驾驶。可以用于影视人物动画没问题，但是不能实时驱动。
在一些成功的案例中，我们可以看看眼睛的渲染和皮肤渲染.让我们分开来看一看。
为了提高皮肤的质量，增加了以下技术。细节图没问题。
节贴图。Secondary Specular Lobe是第二层的高光，Cavity Specular Occlusion是指凹陷处，可以遮蔽掉高光，Screen Space Subsurface Scattering指屏幕空间的次表面散射。第一个细节贴图主要是用于模拟皮肤表面的细节等纹理，这张纹理并不大，是1K的纹理。
第二层高光Secondary Specular Lobe，它是用于模拟皮肤表面的油脂层，因为皮肤要出油，甚至皮肤看上去干巴巴的，所以需要用这个方式来增加一个第二层的高光。
第三个是凹陷高光，是为了遮蔽凹陷中央的高光。在加了第二层高光以后，皮肤凹陷的地方也出现高光，显然是不真实的，需要把它的高光遮蔽掉，凹陷处不出现高光。
第四个是屏幕空间的次表面散射，用于制作皮肤本身的效果。我们知道皮肤本身是有一个所谓的3S效果，这就是所谓的次表面散射效果。皮肤显然是需要用到次表面散射的，但是传统的当我们用MAYA或3Dmax这样的离线渲染的软件去模拟这个皮肤的时候，如果是渲染次表面散射的效果是非常耗时的。在Unity，实际上有两种渲染次表面散射效果的技术。第一个是Screen Space Subsurface Scattering的技术，它渲染得比较快，第二种是通过光飞的方式，显然光飞的方式更真实。
这个角色是《发条乐师》短片里面的小女孩的角色，小女孩的这个角色也是用到了屏幕空间的次表面散射的效果。右边的树叶，其实也是用到了次表面散射的效果。
接下来说说针对眼睛的渲染。实际上眼睛是一个非常复杂的物体，它由很多部分组成，在实时渲染里面去模拟真实的眼球，模拟4个部分：角膜、瞳孔、虹膜、巩膜，就已经能够获得非常真实的效果。
如图所示，我们的眼球本身是一个非常复杂的物体，正面看跟侧面看实际上是有区别的，特别是虹膜视角折射现象，如果是正常地去渲染，这张图是非常有名的GDC上的数字人的角色。
数字人眼球实际上是按照真实的眼球的形状来建模的，它会有一些特殊的涂色器来表现这个眼球的各个参数。包括它的反射，巩膜跟虹膜上的法线贴图，分别应用不同的法线的数值能够呈现的效果，甚至也做了眼睑的遮挡，通过一个单独的控制器来进行控制，就可以控制眼睑的效果。
总结一下，通过真人的扫描数据，经过blend shape、Wrinkle Map、Colour Map、Facial Rigging的方式进行表情制作，用控制器来驱动这个表情。当然我们也知道有很多其它的方式可以来驱动这个表情，其实当我们去渲染皮肤、眼睛或者是毛发的时候，相对来说是比较容易的，但是表情驱动实际上是一个非常大的难点。
经常会听到开发者说使用的Unity为什么做不出来Unity能够做的效果？因为Unity呈现的demo的效果都是由一群人通过很大的精力打造出来的，而且他们所用的技术在他们制作这个版本里面其实还没有，做完这个demo，有了这些技术之后，会慢慢合到下个版本里，最终形成所有人都能使用的一个功能版本。
四、数字人制作过程是怎么样的？
在做完《异教徒》以后，Unity中国团队实际上也做了一个自己的数字人，应用《异教徒》的技术，坐姿4D扫描等技术。
这是一个实际的项目，过程实际上跟《异教徒》的过程是一模一样的。包括做数据的清理，做相应的blend shape，做Wrinkle Map，做Rig，然后驱动表情，在ASSETStore里的控制器，用Animation Clip、用BlendShape的方式来呈现表情动画。当然了面部捕捉实际上有更多的方式，比如说用Market来跟踪，用ARKit来跟踪，用图像数据驱动。
在做实际开发的时候，用相机捕捉表情来做人头的表情的测试，还有另外一种方式，用图像数据驱动。有一个非常巨大的区别就是她有一头飘逸的长发，这个飘逸的长发是Unity中国团队自己研发的一个解决方案，它是适合于URP、HDRP，既适用于通用的渲染管线，也适用于高画质的渲染管线来制作头发。头发的渲染跟传统的插片式的方式是很不一样的，是可以非常柔顺的，甚至感觉像海飞丝广告的效果。表情实际上是通过AR cade来实时驱动的，当然用AR cade来驱动表情。
Unity的一个数字人叫艾玛，这个数字人的表情是完全用Ziva Dynamics的技术来动态驱动的，核心技术实际上是去模拟模型下面或者是生物皮肤下面的这些肌肉群，既可以去模拟恐龙真实的身体肌肉的移动，也可以把这套技术应用到比如说非常逼真的数字人脸部表情动作的模拟。传统来讲一个模型就是一个空壳，它外面就是一层壳，但是在Ziva Dynamics的技术里，后面实际上是有真实的基于解剖学的肌肉在那里，当真实地移动这些肌肉的时候，外面的这些皮就可以比传统的用blend shape或者是用骨骼绑定的方式获得另一个或者是更高层次的真实感。
今年3月份，Unity在GDC上发布的《Enemies》的最新数字人的预告片，这个数字人的表情是非常非常真实的。值得一提的是她的头发是一套Unity即将公开的毛皮渲染技术，应用于HDRP高清渲染管线的一套毛发。
欢迎查看MetaCon元宇宙技术大会官网，了解更多元宇宙和数字人相关内容信息。地址：https://metacon.51cto.com/
来源： MetaCon元宇宙技术大会
