unity怎么给人物贴图(unity人物模型制作)

健康新闻 2023-05-01 10:09健康生活www.xingbingw.cn

  unity怎么给人物贴图(unity人物模型制作),新营销网红网本栏目通过数据整理汇集了unity怎么给人物贴图(unity人物模型制作)相关信息,下面一起看看。

  数字人和虚拟图像的发展逐渐成为一个新兴的技术问题。数字人的开发技术除了用于虚拟现实人物形象,还可以让人物表情更加生动,与观众互动。最近,Unity的技术团队制作了一个数字演示,许多业内人士对此表示了极大的兴趣。

  在Unity科技开放日——上海站上,Unity科技美术团队和技术团队介绍了这个基于Unity的数字生活制作流程。这篇文章截取了关键内容。如果你对数字人感兴趣,不妨继续读下去。

   “关于数字人的面部动画,我们使用手机苹果ARKit来捕捉面部表情。”Unity TA团队讲师Michael说。

  关于面部表情捕捉,这其实是另一项技术,需要搭配一个苹果手机和Face Cap app软件。面部表情捕捉可以提供更准确和详细的面部表情。使用FBX文件指南,您可以使用左边的白色模具将动作移动到角色。

  虚拟人的创作主要分为两个主题,一个是渲染,一个是流量。接下来,我们来看渲染部分的内容。

  虚拟人头发渲染

  这里渲染首先要做的是用机器扫描一个真人。

   Unity最近发布了一个全新的头发系统。头发的基本流程是用Maya X-gen做头发。X-gen的主要工具也是很多影视团队的选择。之后导入Unity,生成tfx文件,在Unity中渲染头发。这个头发工具集成了AMD的头发技术,所以格外逼真。

  在设置中,我们可以对不同的配置进行分组,每个配置文件都可以调整细节。头发工具分为三个主要区域,一个用于控制头发生成,一个用于控制头发动力学,最后一个用于控制头发颜色。美工可以自己设计组,发尾宽度也可以动态调整。

   Unity头发系统集成到HDRP(高清晰度渲染管道)的头发材料。你可以用头发黑色素的物理参数调出你喜欢的发色,也可以直接用染发色加上你想要的任何颜色。

  虚拟人流

  整个过程非常简单。第一,极端表情要按照FaceCode标准扫描,那些表情要由模特在光场设备中制作并拍照。剩下的就是关于模型清理了。目前这部分也可以用AI算法来做,节省人力。

  当我们清理模型的时候,需要开始拆分BlendShap(以下简称BS)。关于这部分有很多部分。FACS理论上支持60个极端表达式,从解剖学上讲,这60个表达式可以非线性组合成任意表达式。然而,当我们进行表情对话时,我们不可能只用60个表情就做出所有需要的表情。所以这就涉及到BS拆解的过程。拆卸次数和用户想要追求的精度有关,也和成本有关。这个项目只扫描了45个有代表性的极端表情,拆分了300多个b。

  有些算法可能会被重复反汇编。其实BS和BS并不是完全叠加,回归到极端的表达,可能有某种加减关系。如果AI这样拆BS,可能需要手动纠正。比如一个下唇动作是几个BS的组合,但是有一个BS是凹进去的,那么这个凹进去的就需要人工矫正。因为这些极端的表达式在与其他表达式结合时会产生问题。当出现这种问题时,需要人工纠正,因此自动拆卸的算法需要进化。

  我们可以简单的把表情分为表情符号和微表情符号。表达上的结构变化需要在模型上做,如果有一些结构变化导致的挤压纹理变化,需要做成贴图。贴图是Winkle贴图,它是一个普通的表情贴图,可以在不同的表情之间切换。一张脸上往往有五六个皱纹。

  扫描后的数据其实就是把眉毛和部分睫毛从地图上去掉,因为这些都是噪点,在重新拓扑和模型修复的时候是不必要的;但是这些东西会用在渲染上。所以需要先删除这些部分,以后再添加回来。例如,在这个项目中,眉毛是用插页制作的。

  还有加工过程的润色图。除了文克尔图,还有一个血流图(血流图)。当你的脸上有皱纹的时候,某个地方的血流图会因为挤压而发生变化,那么这个地方的颜色就会变深。这表现在微表情里,也算在地图里。所以有两套关于微表情的贴图,文克尔和血流,都是比较常规的操作。

  这里是我们发现可以继续迭代的地方,修复模型的部分。如果有足够的美术资源,其实不用考虑算法。

   Rigiging和模型抓取通常是在修复模型和拆BS之后进行的,因为用户最不希望的就是快速产生高质量的表情包。在索具中,相信大家都会遇到一些这样的情况,比如重定目标。这是因为开车的不是模特自己,很可能开车的是别人,所以会有重定向;还有二次元几何,动态Winkle,血流,但是现在Unity还没有做到动态。目前,这个项目是在Shader中实现的。目前,与需要哪些地图以及如何使其对应于表达式相关的一系列任务都是由用户自己处理的。不过这些简单枯燥的任务,有一部分会在后期由AI来实现。

  至于模型捕获,目前有两种方案用一些第三方提供的高精度结果来驱动模型。在这个项目中,Unity团队使用ARKit或谷歌开源AR核心中人脸的模型来提取特征和驱动模型。但是模型捕捉

  也有可以迭代的地方,如果我们以Marker Based来驱动的话,后期就可能会需要修改一些Marker Tracking有问题的地方。如果用户选择自己做或者买第三方的Motion Capture设备也是可以的。因为有头盔的话就可以做更高质量的模型capture。

  最后有关数字人的生态流程还有几个问题,一个是真人扫描数据的处理,就是模型的重建,那就会牵扯到算法的事;一些扫描得不太好的地方要修;还有就是贴图的重建。项目中出了刚才提到的两张贴图 Winkle Map 和 Blood Flow Map,其实我们还有一张提供颜色的图,Color Map。现在的设备都有偏正光,所以它会给你偏正的结果,但是实际上用户也要去做类似Delighting 的事,才能够得到一个没有光照的结果。

  还有就是关于faceCode的扫描数据,目前我们能见到的虚拟人都是这样做的,就是模特去表演faceCode里的表情。做完之后进行BlendShap、Winkle Map、Blood Flow Map以及Face Rigiging的 。而目前Face Rigiging 没有一致的标准,基本上是用户自己定义标准,能实现一个合理的、容易做动画的搭建就可以了。如果没有高质量的模型capture前提下,做动画很多时候还是需要人工手动修出来的,所以Face Rigiging这一步非常重要。

  表情驱动会有一套控制器,人脸上有很多点,这里是参考 Unity 国外团队做《异教徒》项目的那一套来做的。传统做动画的方式就是上文中提到的以人工修帧为主的方式,还有面部驱动的方式,下一步Unity还将在这些流程之中试着加入一些AI的算法来优化整体流程。

  下图是通过扫描得到的模型。我们可以清晰的看到在图中有这样那样各种问题。就是说我们虽然也是非常高精度的摄像机,基本摄像机有三套,一个负责颜色,一个负责光学,还有一个负责高速摄像,这三套相机可以提供人脸重建的非常高面素的mesh,但是拿到的 Geometry 也会有这样的问题,就比如像我们拿到的头是左边那样子的,但是模型的眼睛基本上全部坏掉了,这就需要建模师把它给手工修出来。还有耳朵也有可能是坏掉的,总之,扫描出来的模型会有很多坏掉的地方,这就是修模型时候后期要处理的事。

  在修完模型之后,我们需要将模型重拓扑到一个合适的 Layout,还有就是上文中提到的扫描出来的模型也会提供Normal的贴图。贴图里有什么东西呢?这里其实也有一个值得迭代的点,就是这个贴图的使用率,实际上现在有很多做影视的公司,他们其实都在要求高分辨率的贴图,比如16K的贴图。但正是因为精度不够,实际上贴图的 layout 是不太好的。

  要想 表情,就需要遵循以下步骤:

  第一步,是先Remove掉那些我们不想要的Geometry,这里包含上文中说到的眉毛、眼睫毛这些,还有一些噪点,因为它扫出来的那个面素是一个巨大的开销,所以我们需要清理掉它。

  第二步,在清理掉它之后,我们需要重拓扑,现在大家重拓扑都会用3D软件来做。

  这里我们加Subdivide base mesh的原因是因为清理之后有一些地方需要增加细节,比如眼皮的地方,如果是双眼皮,一定是把它给叠起来的,因为在将来做动画时一定会有闭眼的时候。所以在眼皮处的Mesh的段数要加多一些,然后再去掉一些噪声和进行一些细节处理就可以了。

   相关文章

  豪杰超级解霸(还记得豪杰超级解霸吗?)

  龚自珍的资料(清代诗人龚自珍一生功绩简介)

  象牙塔是什么意思(“象牙塔”里怎么了?)

  水色风信子(水培风信子容易养)

  婧字怎么读

  虞姬是哪里人(古代著名美人虞姬到底是哪里人?)

  公办三本院校(我们还有哪些“三本”?)

  电子酒柜(酒柜最全选购指南)

  德州景点(德州市景区景点62个)

  玉兰油官方网(OLAY发布高端臻粹系列)

  驱鬼咒语(道教辟邪的神咒)

  奥运五环代表什么(奥运会五环代表着什么?)

  更多unity怎么给人物贴图(unity人物模型制作)相关信息请关注本文章,本文仅仅做为展示!

Copyright@2015-2025 www.xingbingw.cn 性病网版板所有