动作捕捉技术及制作流程详解.docx

1、动作捕捉技术及制作流程详解动作捕捉技术及制作流程详解By1905电影网2014 . 07 . 24猿族崛起动作捕捉特效分享经过这一系列的改进之后，猿族崛起终于突破了动作捕捉和实景表演之间的界限，新的实景捕捉系统可以应对各种复杂的环境和灯光。也正如Andy Serkis所说：“捕捉技术只是一个工具，可以扩充演员的表演能力，使他们可以扮演以前演不了的角色，但终究电影还是要靠演出来的。”影片简介猩球崛起是上世纪60年代末、70年代初经典科幻系列片人猿星球的前传，讲述一场因人类基因试验而引发的大灾变，主角Caesar是一只智力超群的猩猩，他在成长过程中逐渐发现了这一点，并认清了人类的残酷无情，于是利用

2、智慧和勇气，带领着众多猩猩展开了独立战争。本片由新西兰著名特效公司维塔数码（Weta Digital）负责制作，他们是世界上做生物特效最有经验也最具实力的公司，之前已经为指环王、金刚、阿凡达等多部大片制作过精彩的生物特效。这次，维塔数码启用阿凡达团队原班人马，改进了之前的流程，并请来老朋友Andy Serkis协助，完成了猩球崛起的精彩特效。维塔数码采用了实景捕捉的方式来制作猩球崛起，本文将探究其来龙去脉和技术原理，从技术层面揭开猩球崛起的神秘面纱，为国内特效爱好者提供有价值的参考资料。实景捕捉的由来 首先，对于流程的选定，我们需要弄清三个问题：为什么要捕捉，为什么要实景捕捉，实景捕捉从何而来

3、。 我们先来看看CG特效史上著名的CG生物角色：侏罗纪公园里的恐龙，又工业光魔的手工动画和Stan Winston Studio的物理模型结合而成，后来的哥斯拉也是如此；侏罗纪公园（Jurassic Park）剧照 哈利波特里的各种生物包括家养小精灵多比和克利切，均是由各家公司通过手工动画制作；哈利波特与死亡圣器(上) （Harry Potter and the Deathly Hallows: Part 1）剧照加勒比海盗中的章鱼船长Davy Jones，是工业光魔（IndustrialLightandMagic，简称：ILM）使用最新的iMoCap技术进行动作捕捉而制作的；加勒比海盗2：聚

4、魂棺（Pirates of the Caribbean: Dead Mans Chest）剧照 指环王里的Gollum、金刚里的大猩猩，阿凡达里的纳威人，均是维塔公司使用动作捕捉技术制作的。金刚（King Kong）剧照 关于为什么要选择实景捕捉，我们可以听听工业光魔特效总监John Knoll当初开发iMoCap时的想法。在加勒比海盗中，杰克船长和巴博萨船长都有变成骷髅的镜头，由于需要在真人与骷髅之间来回变换，所以需要大量的匹配工作，这样的话直接在真实演员身上做修改会比较容易。工业光魔对自己的手工动画能力非常有信心，实际上加勒比海盗中的骷髅都是手工匹配完成的。 其实在加勒比海盗拍摄过程中，特

5、效总监John Knoll和动画总监Hal Hickle领导过一小段动作捕捉工作，但是效果非常不好，一来是大型的动捕设备无法搬到潮湿的拍摄现场，带来的设备可捕捉范围非常有限，二来是数据处理流程不完善，出来的结果几乎无法使用，所以当加勒比海盗2的任务下来时，John Knoll意识到为制作Davy Jones，必须要开发新的捕捉系统。Davy Jones之所以没有完全使用手工动画，是因为手工动画很耗时，而且剧情中有大量生物角色同时出现，工作量更大；另外，与第一部不同的是，这些生物角色没有变身的过程，不存在与真人匹配的问题，这也为动作捕捉提供了方便。但是，当时的动作捕捉无法在室外完成。指环王制作流

6、程 维塔在拍摄指环王时，先在实景中拍一遍作为位置参考和空镜素材（不穿捕捉服），然后Andy Serkis在专门的捕捉车间再表演一次实景里的动作（穿上捕捉服），工业光魔可没有Andy Serkis这样了不起的演员，没有人愿意表演两次，大家都希望在实景中与其他演员互动的同时，完成动作捕捉任务，而且这对于CG角色的打光具有重要的参考价值，很多人更愿意在实景而不是蓝幕或室内拍摄，然后使用roto，就是为了匹配实景中的光线环境。这一系列的情况都要求工业光魔的研发部门必须开发出新的捕捉系统，既要轻便，又要精准，最重要的是要能带到片场去。 于是在John Knoll的带领下，工业光魔开发出了iMoCap系统

7、，它使用中灰色的半紧身材料，既穿戴舒适又可提供光线参考，衣服上本身带有反光球，还可以使用专门的标记带来任意扩充捕捉精度。工业光魔改进了识别和处理软件，使得这样看似随意的标记可以被精确识别；而且，该系统可以使用任意型号的两台高清摄像机，分别放置于主摄影机两边，拍摄动作参考，然后送回工业光魔进行分析，因此在片场无需携带其他复杂的专用捕捉设备。iMoCap的出现解决了实景捕捉的瓶颈，但工业光魔并没有为iMoCap提供表情捕捉的功能。按John Knoll的话来讲，表情捕捉确实是工业光魔正在研发的技术，但是还没有成熟到可以用在加勒比海盗里，另外由于“飞翔的荷兰人”上面的水手头部与人类相差较大，而工业光

8、魔又拥有丰富的手工动画经验，所以iMoCap只提供肢体运动数据，角色面部仍由手工动画制作。加勒比海盗制作流程 而维塔公司从成立之初，似乎就注定要以动作捕捉技术和生物角色制作为核心，他们所制作的著名角色，甚至包括神奇四侠2里面的银影侠，无一不是使用动作捕捉技术完成，Andy Serkis也因此成为了当之无愧的“动捕第一人”。在猩球崛起之前，维塔使用的捕捉技术均是光学反射式，即在捕捉演员的衣服上和脸上打上可以反光的标记点，然后在专门的车间里，四面八方布置多台专用的捕捉摄像机，这些摄像机经过特殊设计和调节，只能摄取到标记点的反射光，而衣服、面部、道具和环境的反光均无法摄取，这样也就过滤了不必要的干扰

9、。多台摄像机由于成立体空间分布，因此捕获的数据经过整合处理之后，就能得到每一个标记点在空间中的移动轨迹，并可以实时地绑定到虚拟角色的骨骼上。这样的系统，其精度和范围很大程度上取决于摄像机的数量，阿凡达在拍摄时建立了世界上最大的捕捉车间（也就是维塔的人常说的Volume），使用了120台捕捉摄像机和8台高清参考摄像机。这种传统的捕捉系统虽然精度高，效果好，但是设备多、成本高，捕捉服装较为笨重，对演员的要求很高，而且最大的缺点在于捕捉必须在专门的车间内进行，活动范围有限，缺乏实景环境的参考和互动。阿凡达（Avatar）工作照 在制作阿凡达的过程中，维塔解决了精度问题，面对猩球崛起，他们需要解决广度

10、问题。由于导演Rupert Wyatt认为这不是一部科幻片，而是现实层面的故事，因此对猩猩的真实程度要求很高，而且剧情中有大量猩猩与人类、实景环境互动的场景，这一切都要求维塔在制作时必须选用实景捕捉。为了实现在片场实景拍摄的同时进行捕捉，他们对原有的系统做了改进。实景捕捉系统详解 动作捕捉技术，从其基本原理来说，就是要将人或动物的动作、空间位移记录下来，并以此数据驱动虚拟角色运动，达到比手工动画更流畅、更精确的效果。 光学式动作捕捉系统是一种基于绝对空间位置测量的捕捉系统，我们知道，定义空间中任意一点的位置，只需要三个参数即可，因此，利用多台摄像机组成空间阵列，只要能够记录下标记点在三个方向上

11、的移动，便可以通过计算机处理还原出它的空间位移。由于经常会出现标记点被遮挡的情况，所以为了提高捕捉精度，就需要更多的摄像机。传统的光学动作捕捉使用被动式（反光式）标记点，即由捕捉摄像机上的LED灯发出红外光，照射到标记点后反射回摄影机，这样比较便于标记点的更改、扩充。但是这种反射式系统几乎无法用于实景环境中，一个原因是实景中有各种道具反光的干扰（被动式捕捉的光路不能被截断或改变），另一个原因是如此庞大复杂的摄像机矩阵难以在各种实景环境中搭建。 为制作猩球崛起，维塔数码改进了阿凡达里的被动式捕捉系统，而换成主动式光学捕捉。他们将反光标记点换成主动发射红外光的LED灯，再用红外摄像机来进行数据捕捉

12、。由于光线没有经过反射过程的能量衰减，所以主动式捕捉可以获得更大的有效范围。不过，主动式LED体积较大，无法用于面部捕捉，而且标记点数量多了之后，容易相互干扰。因此，在面部捕捉方面，由于人类和猩猩面部结构较为接近，所以维塔继续使用阿凡达中的头戴式表情捕捉系统（被动式LED反射系统），在演员脸上画上标记点，然后用高清摄像头录制下来，保证了动作捕捉与表情捕捉同时进行。另外，为了保证大量捕捉点之间互不干扰，维塔数码对LED做出改进，使LED进行频闪发光而不是持续发光，不同的标记点之间闪烁频率不一样，使用无线电同步到高速摄像机之后，就能很快分辨出捕捉到的是哪个点。猩球崛起（Rise of the Pl

13、anet of the Apes）工作照 为实现日光下捕捉，必须要精简设备的重量。维塔也模仿iMoCap，选用了轻便的中灰色半紧身布料，在上面附上LED标记点，同时使用特定频率的红外光作为捕捉信号，从而避免了阳光和灯光的干扰。 在拍摄金门大桥这场戏的时候，由于真实的金门大桥不允许被用来拍摄，因而制片方在温哥华搭建了1:1比例的桥头场景，而这场戏中，桥上有上百辆汽车和上百只猩猩，它们在汽车间穿梭爬行，因此难以在室内捕捉车间完成。由于搭建的场景很大，演员众多，因此维塔数码必须要扩充捕捉系统的覆盖范围。他们沿着片场的边缘搭建 了一排又一排的架子，沿线安置了上百台捕捉摄像机，并用小盒子保护以防风吹雨淋

14、。 软件方面，维塔数码 以Autodesk Maya为基础平台，结合了Gaint Studio的运动分析软件，以及大量维塔数码 自主开发的私有软件。 经过这一系列的改进之后，猩球崛起终于突破了动作捕捉和实景表演之间的界限，新的实景捕捉系统可以应对各种复杂的环境和灯光。也正如Andy Serkis所说：“捕捉技术只是一个工具，可以扩充演员的表演能力，使他们可以扮演以前演不了的角色，但终究电影还是要靠演出来的。”从捕捉到成片 我们知道，传统的光学捕捉系统，摄像机是只能“看到”标记点的，也只记录下标记点的移动，多台摄像机录制的数据经过计算机整合处理后，每个标记点的空间移动轨迹便被计算出来。而标记点的

15、位置不是任意的，通常是在演员的关节处，以及身体结构的关键点上，这样可以使演员的动作正确映射到虚拟角色的骨骼上。而面部捕捉则不同，由于表情更多的是由肌肉而不是骨骼来控制，所以情况会更加复杂，也需要反复定义和优化演员面部肌肉系统和角色面部肌肉系统之间的映射关系，因而面部捕捉需要更多的标记点，以记录下微小的肌肉变化。 经过动作捕捉之后，CG角色可以说是“活了”，有了自己的动作、表情，但是，要把CG角色放到场景中，还需要做一件事，就是让CG角色拥有正确的比例、角度、移动。举例来说，动作捕捉为CG角色赋予了“走”这个动作，但是我们并不知道它是朝哪个方向走，不知道它是面朝摄影机还是背对摄影机，因为三维角色

16、是可以任意摆放的，我们不知道应该把它放在场景的哪个位置，而且一旦实拍的背景移动或缩放了，那么这个CG角色也要跟着移动或缩放，如果没能完全匹配好，看上去就会显得CG角色没有融入背景中，有跳跃感，甚至比例失调、穿帮。所以我们必须要做的一件事就是对实拍镜头进行跟踪。摄影机轨迹反求跟踪技术示意，绿色十字为参考点 跟踪技术分为三种：摄影机轨迹反求、画面追踪替换、画面稳定，这里要用的是第一种，也就是从二维的实拍影像序列中计算出摄影机的三维空间运动，甚至是变焦。在这一步中，摄影机本身的参数是非常重要的，如果在跟踪之前不知道摄影机镜头的焦距、感光元件的尺寸、帧率等等关键参数，计算出的轨迹是不可能正确的。在做跟

17、踪之前，需要先校正镜头畸变，这也是必不可少的。跟踪计算的原理是逐帧考察背景中多个“相对静止”点的移动，点越多，越容易得出摄影机的三维轨迹，使用的也是三角测量原理，我们可以想象在平面上放置一个三角形，从不同的角度和距离拍摄这个三角形，得到的形状是不一样的，将这个过程反过来，就是摄影机轨迹反求的原理。 知道这个原理之后，我们就很容易理解，这些参考点本身应该是相对静止的，比如场景中的墙角、桌角等等，而任何在场景中有移动的物体，包括人，都不能用来做跟踪计算，在跟踪之前应用遮罩将其屏蔽。遮罩类似于roto，但不需要那么精细，以PFTrack为例，我们在序列的首尾帧画遮罩把人物框起来，软件会自动计算遮罩在

18、中间帧的位置，然后拖动时间线，如果发现中间哪帧遮罩没有盖住人物，则停在该帧，调整遮罩把人物盖起来，直到整个序列里人物都被屏蔽。遮罩过程示意 求得摄影机运动轨迹之后，将数据给到三维软件的摄影机，通常我们也会把序列帧导入三维软件，并使首帧的地平面与三维软件的地平面重合，这样，由于虚拟摄像机与实拍摄像机的移动已经一致，所以只要CG角色一直走在虚拟地平面上，合成之后就会一直走在实拍背景的地面上，而不会飘到空中。有时候我们甚至会在跟踪软件中使用简单的几何体重新搭建场景，如果这些几何体从头至尾都跟场景重合，那么说明跟踪结果非常精确，另外，这些几何体也可以导入三维软件作进一步的细化。因为CG角色常常需要与实

19、拍场景有互动，在三维软件中重建场景将更有助于CG角色的精确定位。重建场景示意 按照合成的原理，背景里当然不该有多余的东西，这样我们直接把赋予了动作又匹配好角度的CG角色合成进去就行了，但是电影的制作需要更为精细的画面和更加准确的镜头，所以常常在拍摄背景素材时，使用替身演员来代替CG角色，与其他真人演员进行互动，这至少有三个好处，一是真人演员可以有更好的互动参照（尤其是目光的角度），二是可以使用替身演员在现场的光影作为参考来为CG角色打光，三是为合成师提供更准确的位置和动作参考。 虽然有这么多不可替代的好处，但是在合成阶段，我们还是需要把替身演员抹掉，这通常是在把CG角色准确合成到场景中之后。我

20、们经常会发现，CG角色和替身演员的外形不是完全重合的，替身演员会有少部分露出来，我们需要把这些部分去除掉，我们有三个方案可供选择。 第一种方案，我们可以拍摄一条不含替身演员的“空背景”（clean plate），把空背景放在下层，把包含替身演员的实拍素材放在上层，这样擦掉替身演员时，下层的空背景就会露出来补上空缺。但是这个方案要求空背景与实拍素材完全重合，否则下层的图像透过擦除的空洞不可能与上层图像无缝衔接。目前来讲，拍摄这样的空背景，如果摄影机是不动的，那么还好办，在同一位置拍两遍，一遍有替身一遍没有即可；如果摄影机是运动的，那么一般需要用到Motion Control，即使用计算机精确控制

21、摄影机运动，使两次拍摄的轨迹完全一致。第九区（District 9）制作流程，去掉了没有重合的部分 我们当然无法在各种情况下都有条件使用昂贵而复杂的Motion Control，所以更多时候我们使用第二种方案，后期阶段制作这样的clean plate。The Foundry Nuke的插件f_align可以校正小幅度的摄影机晃动（移动轨、三角架等等），如果不是手持拍摄，这个插件可以有效地解决两次拍摄无法完全匹配的问题。事实上，电影里很多小幅度的摄影机抖动都是在后期添加的，前期能稳定尽量稳定。 但如果很不幸我们使用的是steadycam甚至handycam，晃动很严重，那么两次拍摄是不可能做到轨

22、迹一致的，任何的软件也无法校正，此时已经没有必要用拍摄的方式制作空背景，我们应该换个方式，自己做空背景，而目前最常用的就是CameraProjection技术，尤其是在Nuke强大的三维环境支持下。我们可以较为自由地拍摄空背景，或者无需二次拍摄，直接从原素材的各个帧中裁取不包含替身演员的部分，使用投影技术投射到面片上（面片在Nuke中架成跟实景环境一样的结构），然后将原素材的摄影机跟踪数据给到各个投影摄影机上，然后再使用一次跟踪数据，给到输出摄影机，输出一个与原素材同步的空背景。制作同步背景示示意图 第三种方案最麻烦，也是合成师比较讨厌的情况，那就是用rotopaint。可以从前后帧中提取需要

23、的成分来填补，逐帧地把替身演员擦除掉。这种方案在擦除小件物品例如跟踪标记点或者钢丝绳的时候比较有效，因为总是可以从邻近的部分找到用于修补的像素，但是像面对替身演员这样的“庞然大物”，尤其是有头发、运动模糊等复杂情况的时候，rotopaint必然没有前两种方案好用。 以上详细讲解了如何从实拍场景中擦掉替身演员，其实clean plate不止用于擦掉替身演员，在合成中，它经常起到重要的作用，上述的几种方案也是制作clean plate和去除任何不需要的元素的常用方案。 在实景捕捉技术出现之前，替身演员常常需要拍摄一遍背景素材，再进行一遍动作捕捉，不仅很累人，也难以做到两次的动作完全一致，所以有的时

24、候直接只拍摄一遍不含替身演员的空背景。人们迫切地希望动作捕捉能够和实景拍摄同时进行。直到iMoCap技术出现之后，问题才得以解决。iMoCap的两次典型应用是加勒比海盗2、3和第九区，其中前者使用实拍clean plate和roto的方式处理替身演员（同时也是动捕演员、表情演员），而后者使用Nuke的投影技术制作空背景来去除替身演员。两者的CG角色面部表情均使用手工动画。 基本上了解了这些知识之后，就很容易理解猩球崛起是怎么拍的了。动捕演员们穿着捕捉服，戴上面部捕捉专用头盔，和真人演员一起进入到实际场景中，像正常的拍戏一样表演，同时维塔数码团队的成员把他们的身体动作和面部表情录制下来，并实时地

25、给到CG角色身上，现场有多台液晶显示器实时显示动作捕捉数据映射到CG角色之后的结果，因此演员们可以实时看到自己的表演有什么问题。猩球崛起（Rise of the Planet of the Apes）制作过程，从动作捕捉到CG猩猩的全流程 当导演对动作捕捉数据满意之后，摄影师需要拍摄一遍clean plate，有时候不包含任何演员，有时候包含真人演员，这要根据拍摄情况来决定。但是通常拍摄clean plate时，演员们的表现总是没有之前实拍的时候好，所以成片大量保留了第一遍实拍的真人演员，而clean plate基本只用于去除猩猩跟替身不重合的地方。 两遍拍摄都完成后，动作捕捉数据给到CG角色，同时维塔数码为此大力改进了毛发和肌肉系统，还专门开发了眼睛系统（包括瞳孔变化、眼部肌肉变化），使得CG制作的猩猩非常逼真。与此同时跟踪部门对实拍素材进行跟踪，重建场景，然后合成部门根据这些素材将猩猩合成到实景中。猩球崛起综合使用了上述三种去除替身演员的方式，整部影片也是在Nuke中进行合成。 这就是整个猩球崛起制作过程中从动作捕捉到CG猩猩的全流程。