运动捕捉技术概述

半岛的铁盒

随着计算机技术的高速发展与视频行业对计算机动画制作需求的不断增加，用户对高效计算机动画制作手段的需求变得越来越强烈。传统意义上在三维动画制作软件中人工调整虚拟角色动作的工作方式已经成为计算机动画制作过程中的最大瓶颈，而发展日趋成熟的Motion Capture技术彻底改变了这一局面，给影视特技制作、动画技术带来了革命性的变化。

    运动捕捉(Motion Capture)综合运用计算机图形学、电子、机械、光学、计算机视觉、计算机动画等技术，通过捕捉表演者的动作或者表情，用这些动作或表情数据直接驱动动画形象模型。动画制作过程更为直观，效果更为生动。可以想象，先用三维扫描技术对一个八十岁的白发老人进行扫描，形成一个数字化人物模型，然后将乔丹的动作捕捉下来，用以驱动老人模型的运动，观众将看到八十老太空中扣篮精彩离奇的场面。想象一下，如果我们用演员的表演来驱动动物的模型，专讲动物王国的故事又将是一个怎样的场面。

    这种制作技术大大提高了动画的制作水平，将动画艺术和动画技术进一步紧密结合，为动画艺术创作提供了更广阔的空间，不但使动画人物更加真实，动作更加流畅，而且也提高了工作效率，节省了制作时间和制作成本(只有传统方法的十分之一左右)，使制作人员可以在脚本、动作、场景、角色设计上投注更多的精力，减少构思至产出的时间差，从而制作出更加优秀的作品。

什么是Motion Capture

  Motion Capture技术涉及尺寸测量、物理空间里物体的定位及方位测定等方面，然后可以由计算机直接理解处理这些数据。

在运动物体的关键部位设置跟踪器，由Motion Capture系统捕捉跟踪器的位置，再经过计算机处理后，提供给用户可以在动画制作中应用的数据。当数据被计算机识别后，动画师即可以将数据与动画角色合成，生成动画，然后很方便的在计算机产生的镜头中调整、控制运动的物体。

运动捕捉技术在动画制作中所具有的优点

(1)真实的动作

    在以往的计算机动画制作中，我们都是使用三维动画制作软件(如3DMAX，MAYA)来制作三维角色的形象并调整角色动作。整个角色动作都是由操作人员逐帧调整的，这样动作的制作工作就变得十分烦琐、复杂，且极易出现误差，效率很低。所以一般使用三维动画制作软件制作出来的动作时间都会很长，而且有些动作制作得十分拙劣。这一现象在某些电影电视作品中并不难发现。但是以Motion Capture为基础的动画制作系统则改变了这个状况，它对演员、运动员和舞蹈家的动作进行捕捉，演员动作不受限制，动作流畅，自然，不需要让动画师重新进行制作。这些动作都是非常具有特点的、非常敏锐的。例如：由计算机生成的人物中，男性和女性走路的动作是不一样的。将实际动作数据记录下来输入计算机，经处理后由计算机在虚拟镜头中恢复。由于它记录的是物体的实际运动，所以动作精确，效率极高，制作动画的效果非常逼真。

    近年来，随着Motion Capture技术的进步，很多影视公司和游戏制作公司为了使产品表现达到最完美的效果，开始放弃了传统的在3D软件下用手工调整人物动作的方法，而代之以较真实且精确的Motion Capture技术。如电影《铁达尼号》人物从船上跌下来的动作、《星际大战首部曲》中的外星人的动作、足球游戏软件中的人物踢球的动作，都采用了运动捕捉技术。Motion capture 为这些产品可谓是锦上添花。

(2)制作的速度

    如果一部片子需要大量的动作数据，在有限的时间和预算内，使用大量的动画师去一点点手调模型的各个动作是非常不切实际的，并且手工制作的动作效果也并不理想。但是使用运动捕捉技术能将所有动作的制作从进行拍摄捕捉到预览常常只需几分钟。一个小规模的制作组与一个演员即可以在一个下午制作出许多复杂的动画。

(3)艺术性的控制

   导演可以在捕捉现场进行指导，观察演员的表演，指出动作的不足，现场探讨最为适合场景的动作。技术人员可以在几分钟之内看到所捕捉的动作，而且具有非常大的灵活性——如果制作人员想改变一下所捕捉的动作，可以利用标准的动画工具如反向运动学、皮肤变形等对这个动作做进一步的编辑。制作人员也可以对动作增加各种变化，产生新的艺术效果。

(4)积累数字图像素材

    一旦动作被捕捉，坐标就被映射到任意具有不同年龄、大小、种族、服饰的人物上。所有动作可以通过创建动作数据库进行存储。对于动画师来说，Motion Capture的资料像是一种新的素材，可以组合、调整，更快地创造出高品质的动画，一天的Motion Capture制作所取得的20分钟动作资料，已经可以用来制作4段MTV短片。

(5)节省开支

    在非常短的时间可以看到所设计的结果，特别是复杂的动作设计。在PC游戏的设计中，动作捕捉和动画比拍摄视频图像更节省，避免了演员的化妆、服饰、灯光、布景等。

Motion Capture的其他应用领域

运动捕捉技术不仅已经成为动画制作业的关键制作环节，在其它领域也有非常广泛的应用前景。表情和动作是人类情绪、愿望的重要表达形式，运动捕捉技术完成了将表情和动作数字化的工作，提供了新的人机交互手段，比传统的键盘、鼠标更直接方便，不仅可以实现“三维鼠标”和“手势识别”，还能使操作者以自然的动作和表情直接控制计算机，并为最终实现可以理解人类表情、动作的计算机系统、机器人提供了技术基础。

    在虚拟现实系统中，为实现人与虚拟环境及系统的交互，必须确定参与者的头部、手、身体等的位置与方向，准确地跟踪、测量参与者的动作，将这些动作实时检测出来，以便将这些数据反馈给显示和控制系统。这些工作对虚拟现实系统是必不可少的，也正是运动捕捉技术的另一发展领域。

    运动捕捉技术还可用于机器人遥控。机器人将危险环境的信息传送给控制者，控制者根据信息做出各种动作，运动捕捉系统将动作捕捉下来，实时传送给机器人并控制其完成同样的动作。与传统的遥控方式相比，这种系统可以实现更为细致、复杂、灵活而快速的动作控制，从而可大大提高机器人应付复杂情况的能力。在当前机器人全自主控制远未成熟的情况下，这一技术有特别重要的意义。

    现代高级三维、仿真游戏，强调游戏者的“参与感”和“沉浸感”，强调游戏者与游戏环境的互动性。现在也可以借助三维扫描技术得到游戏者数字模型，将其置于游戏环境，再利用运动捕捉技术捕捉游戏者的各种动作，用以驱动其数字模型，这样可以给游戏者以全新的感受，开发出真实感极强的游戏系统。

    在体育训练中，运动捕捉技术可以捕捉运动员的动作，便于进行量化的分析，结合人体生理学、物理学原理，研究改进的方法，使得体育训练摆脱了纯粹依靠经验的状态，进入理论化、数字化的时代。还可以将成绩差的运动员动作捕捉下来与优秀运动员进行对比分析，从而帮助训练。在人体工程学研究、模拟训练、生物力学研究等领域，运动捕捉技术同样大有可为。可以预料，随着技术本身的发展和相关应用领域技术水平的提高，运动捕捉技术将会得到越来越广泛的应用。

Motion Capture 的发展所经历的阶段

近几年来，在促进影视特效和动画制作发展的同时，运动捕捉技术的稳定性、操作效率、应用弹性以及降低系统成本等得到了迅速提高。如今的运动捕捉技术可以迅速记录人体的动作，进行延时分析或多次回放，通过被捕捉的信息，简单的可以生成某一时刻人体的空间位置；复杂的则可以计算出任何面部或躯干肌肉的细微变形，然后很直观的将人体的真实动作匹配到我们所设计的动作角色上去。

    现在运动捕捉技术主要分为四类，每项技术也有各自的特长与应用方向，同时也有需要突破的瓶颈：  

机械式运动捕捉

(1)发展历史  

1950年    机械式(Mechanical)操作手臂，主要代替人在比较危险的环境工作。  

1960年    迪斯尼公司采用机械式动作设计系统。

1963年   可进行回馈反映的机械人，这和现代的机械式运动捕捉技术很相似，通过人体动作实现对设备的动作控制，再回馈有关的设备运动信息。

1983年 卡尔弗特教授使用分压计作为角度传感器进行人体分析。

1983年 拉涅尔发明了机械式的数据手套。

1985年 VPL研究中心开发了虚拟现实的技术，其中机械式运动捕捉为主要技术核心。

1988年deGraf/Wahrman开发了受机械式控制的“迈克--会说话的  头”。  

迈克被一个专门的控制人员操纵，只要很简单的操作就可以控制这个头模型的面部，包括嘴、眼睛以及表情变化，同时还可以控制头部的位置变化，计算机硬件会自动插补被设定的表情和头部位置的中间变化过程，使模型的变化看起来非常自然。

1988年 Pacific Data Images利用机械式捕捉技术制作了Waldo（沃尔多）三维动画角色。

       系统通过将机械的传感器真人的下颚、嘴唇、脸颊、眉毛等面部的主要部位，同时用电磁传感器安放在演员所带的头盔上，系统可以跟踪到面部肌肉的主要变化，实时的把这些变化匹配给计算机三维模型，利用这套系统，一个演员就可以利用自身的表演来控制模型的所有表情，使动画达到完美的自然效果。

1992年           机械式的面部跟踪系统“face waldo”。

1993- 1994年    模仿恐龙的动作捕捉技术。

(2)工作原理

     机械式运动捕捉依靠机械装置来跟踪和测量运动，典型的系统由多个关节和刚性连杆组成。在可转动的关节中装有角度传感器，可以测得关节转动角度的变化。装置运动时，根据角度传感器的数据和连杆的长度，可以得出A点在空间的运动轨迹。实际上，装置上任何一点的运动轨迹都可以求出。刚性连杆也可以换成长度可变的伸缩杆，用位移传感器测量其长度的变化。

     机械式运动捕捉的一种应用形式是将欲捕捉的运动物体与机械结构相连，物体运动带动机械装置运动，从而被传感器记录下来。另一种形式是用带角度传感器的关节和连杆构成一个“可调姿态的数字模型”，其形状可以模拟人体，也可以模拟其它动物、物体。使用者根据剧情的需要，调整模型的姿势，然后锁定。关节的转动被角度传感器测量记录，依据这些角度和模型的机械尺寸，计算出模性的姿态。这些姿态数据传给动画软件，使其中的角色模型也做出一样的姿势，这是一种较早出现的运动捕捉装置。

     直到现在仍有一定的市场，国外给这种装置起了个很形象的名字：“猴子”。但“猴子”较难用于连续动作的实时捕捉，需要操作者不断根据剧情要求，调整“猴子”的姿势，很麻烦，主要用于静态造型捕捉和关键帧的确定。

     现代的机械式运动捕捉技术则不必再去调整模型的姿态，而是可以实时采集人体的运动数据，只需利用一套外骨骼系统将角度传感器固定在表演者的身上，就可以进行人体的动作数据采集。

     

(3)优点

成本低，它的花费可能只是光学式运动捕捉的1／4，电磁式捕捉的1／2。装置定标简单，精度也较高。可以很容易地做到实时数据捕捉，还可以容许多个角色同时表演。

(4)缺点

     主要是由于机械设备有尺寸以及重量等问题，使用起来非常不方便。机械结构对表演者的动作阻碍、限制很大，很多激烈的动作都无法完成。机械捕捉设备使用目的专一，例如，用于捕捉身体动作的系统，就不能同时捕捉演员使用的道具。

电磁式运动捕捉

(1)发展历史

  1970年 Bill polhemus开发电磁式运动捕捉。

  1988年  商业运动捕捉系统(单通道)。

  1991年  第一套名叫Mat the Ghost的实时角色动画制作系统研制成功，

           使用电磁式数据手套，midi等设备对模型实时控制。

  1994年  第一套快速多通道的电磁式捕捉系统。

  1996年 polhemus由于在动画片美女与野兽中采用电磁式运动捕捉获得奥斯卡奖。  

(2)工作原理   

    电磁式运动捕捉系统一般由三个部分组成(见图2-5)，即发射源、接收传感器和数据处理单元。发射源在空间产生按一定时空规律分布的电磁场；接收传感器(通常有10～20个)安置在表演者身体的关键位置，传感器通过电缆与数据处理单元相连。表演者在电磁场内表演时，接收传感器也随着运动，并将接收到的信号通过电缆传送给处理单元，根据这些信号可以解算出每个传感器的空间位置和方向。

(3)该技术的优点

首先在于它记录的是六维信息，即不仅能得到空间位置，还能得到方向信息。其次是速度快、实时性好。使用时，随着表演者的表演，动画系统中的角色模型可以同时反应，便于排演、调整和修改。装置的定标比较简单，技术较成熟，成本相对低廉。可以完成地面滚动或跌倒等动作。

  

(4)缺点

对环境要求严格，在表演场地附近不能有金属物品，否则会造成电磁场畸变，影响精度。该系统允许的表演范围比光学式要小，特别是电缆对表演者的活动限制比较大，不适用于比较剧烈的运动、表演。目前这类系统的采样速率一般为每秒15～120次(依赖于模型和传感器的数量)，为了消除抖动和干扰，采样速率一般在15Hz以下，对于一些高速的运动，如体育运动，采样速度不能满足要求。

  2.3 声学式运动捕捉

常用的声学式运动捕捉装置由发送器、接收器和处理单元组成。发送器是固定的超声波发生器；接收器一般由呈三角形排列的3个超声探头组成。将多个发送器固定在人身体的各个部位，发送器持续发出超声波，每个接收器通过测量、计算声波从发送器到接收器的时间，3个构成三角形的接收器就可以确定发送器的位置和方向。由于声波的速度与温度有关，还必须有测温装置，并在算法中作出相应的补偿。

这类装置成本较低，但对运动的捕捉有较大的延时和滞后，精度差，还要求声源和接收器之间不能有遮挡，且受噪声等干扰较大，系统扩展困难。

                Motion capture 主流技术比较表

应用技术	精确度	稳定性	应用弹性
机械式	低	中等	低
电磁式	中等	低	低
光学式	高	高	高

2.4光学式运动捕捉

(1)发展历史

  1915年  弗雷斯格尔发明了“Rotoscope”技术，可以看成是运动捕捉的

            原始形式，也可以说是运动捕捉的先驱。不过那个时候的运动

            捕捉是手工“捉”出来的。

  1937年  迪斯尼在制作白雪公主动画片时采用了Rotoscope技术拷贝真

            人动作，然后“粘贴”给动画人物，使动画人物看上去有和真

人很相象的动作。

(1)发展历史

注：为了得到令人满意的动画人物运动的效果，事先用真实的演员表演动作，然后在电影胶片上添加一层薄膜后勾勒出真实演员的表情和动作姿态，这些动作姿态将被作为动画模版，动画师参考这些姿态绘出角色的逐帧动画，这样连续播放时形成一个非常逼真自然的动作，当时在二维动画制作行业中被广泛的应用。

在纽约大学计算机图形实验室，艾伦 博士使用一面半镀银的镜子将一段真实演员跳舞的录像带添加到计算机的屏幕上，利用它来对计算机制作的动画模型进行定位，使计算机制作出的舞蹈少女生成和真人相仿的动作姿势，计算机把这些姿态作为关键帧，然后计算生成一段平滑的动作。

  

  197x年    随着计算机的发展，动画师开始使用计算机来制作动画人物。

1983年    金斯伯格和麦克斯韦教授使用Op—Eye这套光学跟踪系统。

1984年    Motion Analysis实现通过二维跟踪实现三维定位技术。

1985年    sun工作站用了17个小时计算出通过4个摄像机所跟踪的8个点的三维运动轨迹(动作长3秒)。

1989年           跟踪时长30秒，制作人物动画。

1990年           Kleiser-Walczak公司需要制作一段音乐录像带，一位使用计算机制作的模型在麦克风前边唱边跳。

1993年    Acclaim光学运动捕捉系统可以同时进行2人的动作捕捉，跟踪

              点可达100.

1996年   Motion Analysis公司实现标志的自动标识。

1999年   使用p II 450的计算机，10个摄像机，实时采集70个标志(Marker)。

2000年   大连东锐软件有限公司自主研发的三维运动捕捉分析系统，12台摄像机，完成单人和群集动画，面部表情及肢体动作。

  

(2)工作原理

通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。从理论上说，对于空间的任意一个点，只要它能同时被两台摄像机所见，则根据同一瞬间两相机所拍摄的图像和相机参数，即可以确定这一时刻该点的空间位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。

典型的光学式运动捕捉系统通常有6～8个相机，环绕表演场地排列，这些相机的视野重叠区域就是表演者的动作范围。为了便于处理，通常要求表演者穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点，称为“Marker”，视觉系统只识别和处理这些标志。系统定标后，相机连续拍摄表演者的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的标志点，并计算其在每一瞬间的空间位置，进而得到其运动轨迹。为了得到准确的运动轨迹，要求相机要有较高的拍摄速率，一般要求达到每秒60帧以上。

基于类似的原理，还有多种类型的光学式运动捕捉设备，例如根据目标的侧影来提取其运动信息，或者利用有网格的背景简化处理过程。目前正在进一步研究不依靠Marker，而应用图像识别、分析技术，由视觉系统直接识别表演者身体关键部位并测量其运动轨迹的技术。

目前，光学式运动捕捉主要分成两类：主动式运动捕捉技术和被动式运动捕捉技术。他们的工作原理都是一样的，不同的地方就是：

被动式运动捕捉系统所使用的跟踪器是一些特制的小球，在它的表面涂了一层反光能力很强的物质，在摄像机的捕捉状态下，它会显得格外的明亮，使摄像机很容易捕捉到它的运动轨迹。

但是主动式的运动捕捉系统所采用的跟踪点是本身可以发光的二极管，它无须辅助发光设施，但是需要能源供给。

被动式捕捉的摄像机在镜头的周围是一些会发光的二极管，Marker正是把这些二极管所发出的光反射回到镜头里，在每帧图像中形成一个个亮点。这样才使系统有“迹”可寻。主动式捕捉所需要的摄像机则不用本身带有发光的功能。

(3)优点

光学式运动捕捉的优点是表演者活动范围大，无电缆、机械装置的限制，使用方便。采样速率较高，可以满足多数体育运动测量的需要。Marker价格便宜，便于扩充。

(4)缺点

系统价格昂贵，虽然它可以捕捉实时运动，但后处理(包括Marker的识别、跟踪、空间坐标的计算)时间长。这类系统对于表演场地的光照、反射情况敏感。装置定标也较为繁琐，特别是当运动复杂的时候。不同部位的Marker很容易混淆、遮挡，产生错误的结果，经常需要人工干预后处理过程。

由于这样那样的各种限制，所以几乎所有的光学跟踪系统都还需要依靠后序处理程序对捕捉的数据进行分析，加工和整理然后才能把这些数据应用到动画角色模型上去。