动作捕捉课程(精选4篇)
笔记来源 石壮壮 蒋兰 手打 石壮壮
第一讲 动作捕捉概述
1、动作捕捉是一门综合计算机图形学、电子、机械、光学、计算机视觉/软件等技术捕捉表演者的肢体、表情,产生三维数据,对这些数据进行分析、处理的过程。(技术方法)(sample、record)→3D
2、获取动作信息的方法:
模型模拟、艺术造型、动作捕捉。
3、捕捉动作的特点:
1)真实性;2)速度快;3)可控性;4)经济性;5)可编辑性。
4、动作捕捉的产生和发展
5、动作捕捉系统的类型 1)机械式(传感器)
优点:实时、成本低、精度高、易标定、无电磁干扰、捕捉范围大、易携带 缺点:捕捉动作有限、传感器配置不灵活、易损坏、采样速率低、无全局位移
2)电磁式
发射源、接受传感器、数据处理显示 优点:六维信息(位置 x、y、z + 旋转)、实时性好、速度快、标定简单、相对便宜、可多人同时捕捉
缺点:电磁干扰、范围有限、比光学式采样速率低、容易出现噪音、配置不灵活
3)声学式
发送器、接受器、处理单元 优点:技术相对简单
4)光学式:
通过对目标特定光点的监视和跟踪来完成运动捕捉的任务。两台摄像机同时拍到,可确定物体的空间位置。高速拍摄→运动轨迹 主/被动式
优点:数据准确、捕捉空间大、速度快、标定简单、表演者受限小、可多人同时捕捉、标识球数目可变
缺点:昂贵、数据需要处理、数据可能丢失、现场光需要控制、实时性局限 位置→传感→光学→电信号
6.捕捉的动作类型
肢体动作、局部肢体动作、面部表情、皮肤动作、动物与玩偶
第二讲 捕捉系统的构成及技术分析
(以光学系统为例)
1、动作捕捉系统的构成(1)传感器
固定在运动物体上,把位置信息转化成捕捉装置可接收的信息。(2)信号捕捉设施
位置信号的捕捉:对光学动作捕捉系统,高分辨率红外摄像机(3)数据传输设备
将大量的运动数据从信号捕捉设备快速准确地传输到计算机系统进行处理。
实时、准确、多通道传输、同步(4)数据处理部分(使用计算机软件)
根据应用类型和应用目的,处理成所需要的形式。通常用计算机软件来实现。
&*一种典型的光学动作捕捉系统的构成东方新锐 DVMC-8820三维捕捉系统
1)DVMC-8820传感器
轻质和表面高反射材料制成 2)DVMC-8820信号捕捉设施
专用近红外高感度摄像机,采用高感度近红外(C1)传感器转换成电信号。
3)DVMC-8820数据传输设备多路视频控制器
(1)高性能工作站
(2)标识点特征学习软件
用于学习三维运动捕捉系统所采用的高反射标识球的特征是适应捕捉空间环境变化、实现高精度标识点识别的辅助工具软件。具有实现图像显示、灰度调节、标识点形状识别、中心演算等功能。生成的参数文件支持三维运动捕捉系统的三维空间标定。运动捕捉中的实时标识点精度识别。
从视频信号中通过特征学习,找到特征点。
(3)高精度三维空间标定软件
通过三维空间位置标定(静态标定)和空间范围标定(动态标定)实现三维空间的精确标定。
(4)高精度三维动作数据采集软件
核心软件 采集、自动数据匹配等处理→得到三维数据(DRS格式)
(5)三维运动数据编辑/通用数据格式转换软件
对DRS格式的三维动作数据进行处理和格式转换。
*VICON、魔神、DVMC →这是其他典型的光学运动捕捉系统
*短焦视野大、长焦视野小
*区别灰度、光斑大小(去噪)
*多目成像→3D→格式文件
*转换系数(22参数)/系统定标(6个或者以上靶点)
2、视频的采集与处理 1)视频采集系统:
(1)视频采集系统结构及其文件性能参数(2)采集的数据量-通道数目与采集速度(3)同步控制
视频采集系统的基本构成
光学镜头、图像传感器、A/D转换器、逻辑控制器、信号处理器、缓存与输出接口
2)内容处理:
(1)数据格式(包含格式说明+数据内容两部分);(2)内容(数据)读取;
(3)数据分析(灰度、面积、不规则)
确定标志球;注意球的位置、去噪 *标识点特征学习软件。
3、标定与三维重建
(1)基本原理(两目成像)
利用CCD摄像机(两个摄像机)的透视规则
两个二维数据→三维数据
(2)标定的概念
利用6个已知靶点→24个方程→22个未知数,这叫做系统定标。
用以求出双摄像机测量系统的变换矩阵A、B。
4、识别与追踪
(1)识别
目的:将标识球三维空间重建坐标分组、根据使用目的加以编号(将光斑映射到骨骼系统,每一个光斑对应相应的骨骼)
方法:将表演者贴上反光点的静态姿势撷取下来,以人工方式在计算机中标定出每一个反光点的编号。将标识好的资料储存下来,成为参考样板。往后计算机可利用这个样板完成标识工作。
(2)追踪
目的:获得正确的以标识点为簇的三维空间轨迹信息,是光学式系统最为重要的一项技术。
当一个演员身贴26/28或者更多反光点在摄像机前运动。在时间轴上看空间位置变化。
计算机分析摄影机位置、反光点数量,经过复杂的运算,得到标识点的移动信息。
追踪方法→追踪速度:干扰
*Kalman滤波 S(k+1)=F`S(k)+G`n(k)如何补空是技术难点/缺陷。
第三讲、捕捉数据的编辑和处理(数据处理、存储、管理)
1、基础知识(1)数据类型
位移数据:光学、电磁、表情、玩偶、实时
旋转数据:机械、电磁、骨骼膜体
光学式旋转数据的产生:
光学式动作捕捉只获得位移数据(六个自由度、六维信息)
通过位移数据和骨骼结构计算得到(2)坐标系
位移数据:
三维坐标系:笛卡尔坐标系 /球坐标系 /柱坐标系
三维笛卡尔坐标系 左/右手系
物体坐标和世界坐标(3)变换
变换类型:scale rotation
变换顺序:不要随意改变变换顺序(4)欧拉角
旋转数据
欧拉角:通过绕三个正交坐标轴的旋转来表示。
偏航 俯仰 横滚
欧拉角存在二义性,即一个朝向可以用多组欧拉角表示。
缺点:万向节死锁(有两个坐标轴重叠,不可以再旋转)
这是致命缺陷。
所以要求不能围绕同一根轴连续旋转两次。
(5)四元数
在表示旋转和朝向方面,优于EULER角。具有表示紧凑、朝向插值稳定的优点。
(四元数与旋转的关系)高维看低维
四元数的结构:实部+虚部 q=(实部s,虚部v)
2、数据处理
为何进行数据处理? 局部丢失、噪声、时空失真
数据处理的方法:插值、去噪、滤波平滑、刚体补间(1)插值(解决数据丢失的问题)
1)线性插值
用直线(匀速直线)方程代表其轨迹。
认为轨迹是直线,容易实现。
缺点:不真实;大部分物体非直线运动;大部分运动随时间非线性;位置连续但是速度不连续)
认为是匀速运动则导致时空失真。
2)样条插值
常见的样条曲线:hermite、bezier、catmull-rom、b-splines、NURBS.(2)去噪
先去噪,后插值(3)滤波平滑:
空间幅值、时间频域、高/低带通(4)刚体补间:
解决数据丢失或者遮挡的问题
通过刚体上的相对位置信息补充丢失的信息。
例如,通过3个球位置关系,得出第4个球的位置信息。
3、数据存储
(各种格式文件结构共同点:分块、分层;存储内容:静态骨骼和动作数据)(1)C3D数据文件格式
用于动画、生物力学、步态分析
该文件格式设计考虑了:
1)可存储直接获取的模拟数据以及由此处理得到的三维数据。
2)能够存储材料方面,如标识球位置和力传感器的信息、记录过程信息,如采样频率和日期以及动作类型、捕捉对象信息,如姓名和年龄以及身体信息。
3)二进制文件。
4)可添加新数据。
结构:
1)头部分
文件第一块
很快地了解文件内容
第一个字指向参数部分
包含轨迹数、模拟通道数目、采样速率等信息
2)参数部分:
文件的第二部分
长度可变,包含文件内容必要信息,如名字、地址、维数、数据类型;参数分组,一参数一组。
3)数据部分:
包含3D、2D数据
(2)ASF(骨骼文件)/AMC(运动捕捉)数据文件格式
每个关节有自己的变换顺序,其他文件格式中,变换顺序固定。
文件包含全局和局部旋转数据。
ASF数据文件格式:
骨骼信息
初始姿态;AMC使用
分SECTION;冒号分割;关键词说明
子segment与父segment间不可有偏移,且只有一个根节点。
(3)BVH数据文件格式
早期为BVA(只有动作数据,无骨骼结构数据,转换顺序固定)
→BVH(有动作数据,有骨骼结构信息,而且允许骨骼不同部位具有不同的转换顺序)
规范简洁、应用广泛、灵活易编辑、初始姿态定义缺陷、某些地方不能应用
BVH数据文件格式内容:骨骼层次(从关键词HIERARCHY起)+动作数据。
(4)TRC数据文件格式
动作分析的一种文件格式
可以存储身体动作数据和面部表情数据(5)CSM数据文件格式
为character studio用以载入marker数据。
可以保存任何类型的marker数据,但是在应用中需注意与标识球配置一致。
数据按照给定的关节顺序,非显性。(6)FBX数据文件格式
FILMBOX→MOTIONBULILDER
内容:ASCII或者二进制文件
文件被分割为section,每个section都包含关键词。
第四讲 基于动作捕捉的作品制作过程
1、前期准备
包括拟定捕捉计划、动作捕捉准备、制定捕捉流程。
重要性:
节约时间和成本、避免数据处理等麻烦、获得好的作品
2、作品方案
(1)故事脚本:叙述故事;
对每一场景应包含标题、动作、对话、人物名称、过渡、镜头
以动作为重点,如果动作比较复杂、时间比较长,可以分段,如果一整段捕捉的话反而会降低效率。
(2)角色设计
特性:外型、各部位的比例尺寸、运动特性、有无配件、按设计定义动作捕捉方式、骨架结构
(3)故事板
脚本的2D可见表达
包含人物、时间、风格、摄像、编辑、声音。
容易修改、赢得观众的心
(4)分镜表/拍摄程序表
分镜表是动作列表
多个镜头多个分镜;一个摄像头一个分镜
(5)动态分镜
基于时序、视觉、声音元素。
了解时序效果,这对故事情节和节约资金是必要的。
3、动作捕捉准备
(1)演员
合适的演员
面部表情捕捉、注意角色面部、发声与表演者之间的适合程度、注意与表演者的年龄吻合。
(2)道具
作用:标识球的放置位置和数目、道具和演员/道具之间的关系
属性:外部媒体
(3)服装和标识球
在演员到之前要提前准备好。
表演服装必须适合演员及其表演动作。
注意标识球的大小和固定方式
(4)标识球簇
了解动作捕捉系统的局限性
了解待捕捉的动作的特点
掌握一定的解剖和结构知识
标识球集合应保证获得所需的有用数据
(5)拍摄程序表/分镜表
应该包括一系列待捕捉的动作,它们包含作品的关键信息
拍摄程序表为项目的所有成员,包括演员和客户服务
拍摄程序表帮助你了解在什么时候、那个演员、什么地方进行动作捕捉
在发布拍摄程序表之前应多次检查(6)捕捉日程表
应描述每个动作捕捉应该如何实施、需要什么条件
应描述动作捕捉什么时候正式开始、什么时候结束、什么时候休息
尽量遵循捕捉日程表
4、动作捕捉与作品的制作过程
(1)进行硬件构成
脚架构成→移动→灵活性,但每次都要矫正
摄像头固定在墙角
(2)设定捕捉空间
不拼凑:追踪简单、无边界、质量好
拼凑:空间大
捕捉空间应该光线较暗,墙面与地面反光比弱,应提供一个充足、连续的三维捕捉空间,确立最佳捕捉空间。
(3)参数校准
通过校验,系统可以知道每个摄像机的位置以及他们彼此之间的相对位置以及它们空间坐标的原点
调节每个摄像机的灵敏度、以确保跟踪点在每个摄像机的相对范围内可以清楚地显示出来。
调整软件参数的门限
动态校验:要求工作人员在校验区内挥动校验棒
静态校验:确定捕捉空间原点以及x、y、z轴
注意:
1)操作人员尽可能让更多的摄像机“看到”,尽可能挥到最大空间。
2)不要将挥动棒直接指向摄像机
3)尽量避免自然光
4)排除干扰点,清除其他跟踪点,同时检查每个摄像机的视野内是否有其他摄像机。
(4)跟踪点安装
视强度和复杂度而定
一般会在演员身上安装28~32个跟踪点,身体左右对称放置。
每套运动捕捉系统都会提供标准文件,列出身体上需要放置跟踪点的部位名称表,以及各个部位之间的连接关系和相对运动关系。
跟踪点的定位需要考虑到人体的整个骨骼结构,以及身体各个部分之间的关系。
(5)静态捕捉
目的:
1、让摄像机看到演员身上所有的标识点,各点之间的关系要相对稳定,手工标识跟踪点。
2、生成可进行跟踪点辨识的参考样板,为以后该系列运动捕捉生成的三维数据提供自动标识功能,产生需要的骨架运动效果
3、为其他运动分析程序提供可参考的变量和参数等。
演员确定一个固定的姿势,要可被探测到所有标识点并进行标识标识点。
(6)动态捕捉
正是动作捕捉开始;依据捕捉计划进行;系统生成二维数据文件;启动重建功能,生成三维数据文件。
注意:
1、注意表演位置和活动范围,避免演员在运动中遮挡MARKER.2、固定好MARKER的位置,防止跟踪点借位/丢失,从而无法捕捉或自动识别不正确的标识点。
3、注意调节捕捉的灵敏度,过高,会增加不存在的点,过低则相反。
4、若表演动作剧烈,则需要增加运动捕捉的加速度值,以防止跟踪点运动轨迹不完全。
5、系统根据轨迹估计下一个位置,并且以此点为中心,预算半径的估算范围。MARKER的半径值大小可稍大于跟踪点半径。
(7)数据编辑
1、人工生成虚拟跟踪点,对点运动轨迹手工编辑、修改;
2、将无法自动识别的点手动标识,重新生成链接关系;
3、利用刚体学,对点轨迹的部分丢失,可以拷贝形状相似的轨迹,进行刚体补间;
4、丢失较多的可以用系统工具完全修补;
5、修改、编辑运动的弯曲程度;
6、删除不真实的跟踪点;
7、添加运动位移,增加运动的真实性;
8、根据现有的运动生成反向的运动数据;
9、对数据进行重新采样,生成不同频率的数据;
10、制作出运动的关键帧。(8)动作数据与角色绑定
标识球数据
1、将T型姿态的标识球数据匹配到T型姿态的ACTOR。
2、匹配标识球,让系统知道数据驱动的骨骼;
3、匹配好数据的ACTOR用于直接驱动3D人物模型动作;
(9)渲染与后期制作
第五讲 DVMC-8820动作捕捉系统的操作
1、操作流程
空间标定→动作捕捉→后台处理→数据分析和编辑转换。
2、高速标识特征学习软件的使用
图像学习、标识点识别
二维数据窗口、摄像机序号
3、高精度三维空间标定软件
(1)摆放标定仪
标定仪放在捕捉空间中心
水平方向有一个标识球的,代表x轴,两个标识球的代表y轴
(2)设定标定参数
系统模式分为3、4、8、12台;
坐标系设定:确定静态标定仪高度。
(3)指定标定参数存储目录
(4)设定静态标定模式
(5)准备摄像
预显示,设定摄像时间,以分配资源。
(6)开始摄像
(7)三维标准幅数据确认
删除噪音
(8)动态标定
测定空间范围
动态标定的过程:
1)设定动态标定模式;
2)准备摄像
预显示,设定摄像时间
3)开始摄像
工作人员均匀移动标定杆,充满捕捉空间,且不超出,包含x、y、z三个方向,避免同摄像机与动态标定轴向重合,然后自动切换到三维数据窗口。
进行动态图像捕捉
4)参数设定
5)标定参数计算
4、实时高精度动作捕捉软件
标识点固定;启动实时高精度动作捕捉软件;
准备摄像;开始摄像;
参数确认(设定焦距、指定标识点);
标准傅标识点序号确定;数据处理;
数据保存。
5、数据保存与格式转换
数据打开;标识点选择;数据修改、添加、删除;
数据补间、滤波;数据导出。
第六讲 基于动作捕捉的三维动画制作
Motionbuilder的使用
第七讲 动作捕捉应用与数据分析
应用:
虚拟现实系统
机器人控制系统
传统的三维动画制作主要依靠Maya或3DSMAX等三维软件来制作, 角色动作由动画师K帧调整, 这种创作方式需要投入大量的创作人员与创作时间, 效率很低。在高质量的商业动画创作中, 一个熟练的动画师每天也只能制作数秒的动画。而当今国际三维动画的发展程度跟日新月异的计算机技术密不可分。近年来, 一种新的动画制作技术——动作捕捉技术常常用在好莱坞电影中的特技及动画影视作品中, 并逐渐成为三维动画制作的一种重要技术。动作捕捉技术最显著的优势在于其可以大幅提高动画的创作效率。传统动画创作中角色的动作主要依赖于动画师的经验, 往往需要经过长期的训练。而应用动作捕捉技术可以大大降低角色动作的创作难度, 减少对于创作者经验、技巧的依赖, 最关键的是, 动作捕捉系统记录的是物体的实际动作, 捕捉到的动作的每一帧都是关键帧, 所以动作精准流畅, 效果非常逼真。经过动作捕捉之后, CG角色有了自己的动作、表情, 就算是具有丰富经验的动画师也难以创作出如此逼真的动作。因此, 近年来动作捕捉技术应用到了大部分的好莱坞电影中, 如大家熟悉的《阿凡达》《指环王》《金刚》等都大量使用了动作捕捉技术1。
为了将教学与市场应用接轨, 有助于培养动画行业高素质人才, 需要在三维动画领域开设动作捕捉课程, 才能让学生深入动画产品生产和制作一线, 在教师的指导下, 运用所学的知识, 了解动作捕捉制作动画全过程, 培养学生的综合职业能力, 满足社会高端人才的需求。但目前在各高校中鲜少有学校开设此门课程, 究其原因主要有两个。一是动捕设备比较昂贵。目前比较好的动捕设备主要是英国的Vicon、美国的魔神和国内的天远等, 这些系统造价不菲, 动则上百万, 一般的企业和高校难以承受。二是缺乏相关的实训教材和系统。魔神等系统的核心技术完全来自国外, 外国的设计者并未设计此系统的教学实训指南, 导致在实际的教学中需要自己构建动作捕捉实训教学体系。
因此, 虽然国际上动作捕捉技术应用在动画创作过程中有着十分突出的优势并有着很好的发展前景, 但受限于经费和人才的因素, 国内动捕实训教学很难开展。而随着动捕技术在国外广泛的应用在虚拟现实、医疗、工业、体育竞技分析、科研等诸多领域, 开设动作捕捉课程是势在必行。
二、运动捕捉技术介绍
运动捕捉系统按工作原理可将其分为以下几类:声学式、光学式、电磁式、机械式和基于视频的运动捕捉系统2。光学式运动捕捉系统具有较成熟的技术、较高的采样率、运动受限小的特点成为目前使用最广泛的一种捕捉系统, 如魔神、Vicon等都是属于光学式运动捕捉设备。该系统通过对附着在运动目标上的特定标记点进行跟踪和监测, 最终获得运动捕捉数据, 达到动作捕捉的目的。在运动捕捉时, 在捕捉对象的主要关节处粘贴一些标志点 (Marker) , 这些标志点具有发光的特点, 摄像机接收标志点反射回来的光线, 获取标记点在二维图像中的位置3。如果一个标记点同时为多部相机所见, 则可计算出标记点在三维空间中的坐标信息4, 以此获得光学式运动捕捉数据5。
三、实验教学设计
(一) 运动捕捉系统实验环境搭建
本课程的实验环境设定的是美国魔神三维动作捕捉分析系统。作为教学使用, 选用8个Raptor-4动作捕捉系统镜头环绕在动作捕捉区域, 只能用于单人的动作捕捉。通过对捕捉区域中演员的动作进行捕捉, 将捕捉数据传送到运动数据捕捉工作站中。实验中主要用到:
Raptor-4镜头:精度0.058mm, 采用了美国Micron公司的MI MV40传感器, 在2352×1728象素的模式下工作, 频率可以达到每秒200帧。较小分辨率的情况下, 采集频率可升至10, 000帧/秒。
Cortex实时操作及分析软件:提供给用户简单而强大的操作及处理环境, 用户可以在统一环境下完成设置、校准、捕捉、识别、匹配、建模、编辑及数据分析及输出功能。支持32位及64位操作系统, 提供cortex无线控制器, 可以单人完成系统操作。
动作捕捉系统配件 (配套) :
(1) 数据线-独立的网络线及电源连接线类型, Etherne (工业标准) 及Power Lemo连接器, 通过专用实时分析处理软件, 使用标准TCP/IP数据通讯协议;
(2) 专用云台;
(3) 配套强力夹;
(4) 专用三角架 (与镜头数量匹配) ;
(5) 动作捕捉专用紧身服装;
(6) 动作捕捉专用反光点套装;
(7) 设备配套用附件, 用于设备架设、L和T型动态校准棒及捕捉辅助材料等。
(二) 实验教学内容设计
1. 实验概述
整个实验流程是利用红外镜头实时采集演员的动作, 在Cortex中输出整个动作采集的数据FBX。将数据导入到Maya中进行修帧, 修补噪声数据, 确定关键帧。最后将关键帧转换为骨骼数据, 在三维软件中绑定角色, 从而使角色赋予了捕捉的动作形成动画。通过这种实验流程, 使学生懂得动作捕捉动画的制作流程, 提高了学习热情, 为以后的动画制作打下了很好的基础。
2. 实验关键步骤
(1) 设备连接:启动工作站, 插入主加密狗。打开Cortex软件, 启动摄像头连接, 如果连接正常, 8个动作捕捉镜头会变红色, 而且, 在Cortex软件上会出现8个方框显示摄像头的捕捉区域。
(2) 扫场:扫场的目的是在捕捉区域内测试摄像头是否能完整的捕捉到整个捕捉区域内的动作标记点。将T型动态校准棒准备好, 在捕捉区域内挥舞扫场。扫场的方向是前后左右上下都需要扫, T型棒扫过的地方在Cortex摄像头捕捉区域中会显示捕捉到的点数据, 扫场的速度最好接近于模特运动的速度, 这样可以更准确的测试摄像头是否能捕捉到所有数据。如果8个摄像头捕捉区域的点已经全部铺满, 则所有摄像头工作完毕, 会自动“嗖”的一声提示校准完成。在扫场的过程中最好不要自行停止校准, 以防有的摄像头不能捕捉到某些区域的动作而导致最后三维数据坐标变换的错误。
(3) 水平定位:为了定位三维坐标的原点和方向, 需要使用L型动态校准棒。L型棒的长柄对应的是三维Z轴方向, 一般是演员表演正面的方向, 也是摆放摄像机的方向。调整L型棒短柄, 上面有个小球, 摆置在中间使其达到水平。
(4) 演员动作测试:前续的准备完成后, 就需要给演员模特穿上动作捕捉专用紧身服装, 贴上标记点。演员的选取需要注意, 演员的身高比例必须和动作捕捉专用紧身服相匹配。演员穿好衣服后, 就开始在衣服上贴标记点了。关于标记点的粘贴, 并不是无规则的, 必须覆盖所要捕捉的骨骼。关于如何设置标记点的研究有很多, 太多的标记点会导致捕捉的数据过大, 太少了不能涵盖所要捕捉的骨骼。在这里, 可以采用最常用的BVH或ASF AMC的骨架模型和几个辅助标记点来贴标记点。接着, 演员可以做基本动作进行T-pose的动作测试, 在Cortex中检测下标记点在基本动作中是否无误。如果发现有丢失或遮挡标记点的现象可以进行调整, 直到基本动作都能正确捕捉为止。
(5) 演员的动作捕捉:在捕捉区域内, 演员开始进行表演, 同步进行动作的捕捉。表演结束后, 将数据导出保存为FB文件。
(6) 噪声数据的处理:由于标志点在采集过程中可能发生遮挡、混淆或丢失, 采集到的运动捕捉数据容易出现误差和伪数据产生噪声。需要对噪声数据进行处理和修补丢失的数据。在Maya中根据动画曲线使用插值和逐帧调整的方法将捕捉数据中的错误修正, 保证动作的准确和流畅。
(7) 骨骼绑定:将贴标记点的骨架模型与骨骼进行绑定。将动捕数据中的各个标记点与骨骼上的关键节点进行映射, 使得骨骼得以由动捕数据中标记点的空间位置数据驱动而运动起来。
(8) 角色模型与动捕数据的绑定:将角色导入到Maya中与骨骼绑定, K帧从而驱动角色模型, 使角色具有捕捉到的动作形成动画。
3. 实验设计
本实验课共计32学时, 其中教师讲授16个学时, 分4次课进行, 每次4个学时。学生实践16个学时, 分2次进行, 每次8个学时。教师讲授内容如下:
(1) 第一次课的内容主要是要学生熟悉动作捕捉环境和设备, 了解各设备的功能, 学会动捕设备的连接启动, 学会扫场、水平定位等初始准备工作。
(2) 第二次课的内容需要学生学会如何给演员穿动作捕捉专用紧身服以及粘贴标记点。在演员动作测试过程中学会如何在Cortex中检测标记点是否粘贴正确。
(3) 第三次课的内容主要是学习对演员的动作进行捕捉, 以及捕捉数据的噪声处理。
(4) 第四次课的内容是如何将标记数据和骨骼进行映射, 以及如何驱动角色进行动作。
通过本实验的实践, 学生能完整的掌握到光学运动捕捉技术在三维动画上的运用, 使学生学习的内容紧跟时代发展的前沿, 为将来的动画学习打下了良好的基础。
四、结语
本实验教学将在动画专业本科进行实践, 将每个班分成2组采用小班教学。由于本校艺术学院采购了美国魔神动作捕捉系统, 使教学具备良好的实验环境, 使教学和行业接轨, 提高了学生的职业能力和就业率。
摘要:动作捕捉技术常常用在好莱坞电影中的特技及动画影视作品中, 已成为三维动画制作的一种重要技术。国内动捕教学受限于设备、场地和教师等因素, 鲜少有高校开设此实验课程。本文在美国魔神三维动作捕捉分析系统环境下, 提出动作捕捉实验教学内容的设计, 让学生深入动画产品生产和制作一线, 了解动作捕捉制作动画全过程, 培养学生的综合职业能力, 满足社会高端人才的需求。
关键词:动作捕捉,实验教学内容,实训教学
注释
11.许乐, 朱柏宇, 计算机技术与电影真实感的建立:以动作捕捉技术和奥斯卡视觉特效奖为例[J].北京电影学院学报, 2014 (1) :64-72.
22 .向泽瑞, 友锦亦, 徐伯初, 李娟.运动捕捉技术及其应用研究综述[J].计算机应用研究, 2013, 30 (8) :2241-2245.
33 .潘华伟, 孟奇, 高青鸣.一种新的运动捕获数据转换方法[J].计算机工程, 2012, 38 (2) :17-20.
44 .张迪.基于运动捕捉数据的三维人体运动合成[D].长安大学, 2015.
20世纪70年代,一位名叫约翰逊的心理学家提出了动作捕捉技术,该技术最初只运用于医疗事业,进入影视领域后,没想到还起了奇效。动作捕捉技术就是将真人表演和计算机技术结合起来,先是借助高科技手段把表演者的动作捕捉下来,然后把其作为电脑中的虚拟角色的运动依据,使虚拟角色的动作和表情能像真人一般自然逼真。
1990年,动作捕捉技术在好莱坞大片《全面回忆》中露了一手。影片中,男主角(施瓦辛格饰)要通过X光扫描射线来进行动作捕捉。我们知道X光具有很高的穿透能力,能够隔着皮肉透视骨骼,所以画面显示出了主角的骨骼和人携带着武器的运动状态。这是人们第一次在大银幕上看到动作捕捉技术,虽然镜头仅有几秒钟,虽然镜头只涉及平面效果,但却是动作捕捉技术的起点,是其发展过程中的重要一步。
茁壮成长塑造经典:
虚弱瘦小的咕噜、身材微胖的安迪·瑟金斯,若不知道电影幕后的故事,你会把他们联系起来吗?咕噜是电影《指环王》三部曲中的角色,他身体畸形、性格扭曲。怎样塑造咕噜,成了个摆在导演彼得·杰克逊面前的大难题。导演最初想通过电脑特效来完成这个艰难任务,但原本只担任配音工作的安迪·瑟金斯却提议由自己来饰演咕噜,而他最后成功了。
瑟金斯虽然演技过人,但受当时动作捕捉技术的限制,咕噜的拍摄被分成了四个部分,瑟金斯的工作量也大大增加。首先,瑟金斯要穿上白色服装与其他演员一起表演(等到了《指环王》后两部的时候,白色衣服才换成了带有跟踪点的动作捕捉服)。接着,技术人员会在电脑上把瑟金斯擦除,替换成咕噜,之前用白色衣服就是为了便于擦除。然后,瑟金斯还得在专门的捕捉车间里,穿上动作捕捉服再表演一遍,这时计算机会把他的表演记录下来,作为角色咕噜的动作数据。最后,动画师会根据瑟金斯的表演,不断完善咕噜的面部细节和动作,之后把制作好的咕噜放回实景镜头中,代替被擦掉的瑟金斯。
神神叨叨的咕噜,让人们见识到了动作捕捉的巨大魅力,甚至在《首映》杂志的评选中,咕噜还获得了“史上100 个最伟大的电影人物”的第十名。动作捕捉技术塑造了一个电影史上的经典角色。
户外捕捉记录面部:
看过《猩球崛起》系列的人,一定会感到困惑,影片中具有真情实感的凯撒等角色到底是怎么来的?难道导演真去请了猩猩来表演?其实该系列电影中并没有一只真猩猩,全都是由人来扮演的。
拍摄《猩球崛起》时,表演者们已经能够走出捕捉车间,亲近大自然了。因为传统的动作捕捉技术主要是光学式动作捕捉,即通过监视和跟踪演员身上的特定光点来完成动作捕捉,所以非常害怕光线干扰。为了走到户外,负责动作捕捉的维塔工作室必须要解决光线干扰问题,最后他们变被动为主动,把演员身上的反光标记点换成了主动发射红外线的LED灯,再用红外摄像机进行数据捕捉,光干扰问题也就迎刃而解了。拍摄续集《猩球黎明》时,当环境较暗甚至拍摄夜戏,就会在动作捕捉服上安装更亮的LED灯,使摄影机能更好地捕捉动作数据。此外,动作捕捉摄影机的线缆也消失了,全部换成无线数据传输。
《猩球崛起》系列在面部表情捕捉上也有重大突破—在《阿凡达》的基础上,开发了“脸部肌肉组织模拟技术”。演员表演时,除穿捕捉服外还要戴上专用头盔,头盔前面安置有摄像头,专门用来记录演员的面部表情。新技术还将原有的皮肤和内部肌肉模拟软件做了改进,为凯撒丰富的面部表情奠定了坚实基础。
说几句关于kinect的事,其最大优势在于可以扔掉手柄。它其实是Xbox360配套使用的一款摄像头,通过USB接口与游戏机相连。它能够发射红外线,从而对整个房间进行立体定位,摄像头借助红外线识别人体的运动。
Kinect最重要的功能是把人变成了遥控器,但除此之外,还有一个潜在贡献——动作捕捉,不过很遗憾,目前好莱坞电影业还没有注意到微软公司,他们已经有了另一套可靠的动作捕捉设备。
在影片《铁甲钢拳》中,在亚当的语音识别系统损坏后,麦克斯把它调到影子模仿系统,亚当随着查理的动作而动时,像极了kinect游戏的升级换代,只不过这时已不是游戏,人们发现这个机器人好像不一般,很像他们自己,有一种不向命运低头的坚韧。
戏里戏外都是动作捕捉
和擎天柱不一样,亚当不是纯电脑动画产物,因为监制斯皮尔伯格表示,如果用电脑特技创作,演员就要对着空气表演。但当演员能真正面对言之有物的东西时,当他能触碰到它,与之眼神交流时,表演才能焕发光彩。
根据斯皮尔伯格的建议,摄制组建造了四台机器人,身高2.5~2.8米,体重500公斤,由专人控制,在电影里缔造出不少人机交流的精彩场面。正是它们,让人与机器人对戏的情节表现得非常真实。
不过,这些机器人可没法胜任那些激烈的打斗任务,那些天衣无缝的打斗,都是摄制组通过动作捕捉技术,将真实拳击手互搏的镜头记录下来,再转化成机器人的挥拳打斗。
与最近热映的其他几部好莱坞电影类似,《铁甲钢拳》的前期拍摄片场也会非常空旷,演员们需要穿着连体紧身衣“戏服”,而且四肢还要贴着带有颜色的布条,背景和道具都是假的,光看拍摄现场难以了解这里正在拍摄怎样的一部影片。
动作捕捉细节要求苛刻
对于动作捕捉技术,中国传媒大学动漫学院院长助理王雷老师为我们进行了解读。
早在40年前,迪士尼公司就想将这一技术运用到动画制作领域,让不完美的动画效果变得更加逼真和流畅一些。而现在,在影片拍摄现场,大多为光学式捕捉技术,演员的黑色紧身衣外、身体关键部位被贴上一种叫做“Marker”的特制发光点,视觉系统将识别和处理这些“Marker”,摄影机把表演者的连续动作图像序列保存下来后,再通过电脑进行后期处理。
听起来虽然简单,但“Marker”的识别、跟踪和空间坐标计算的工作量非常惊人,它们对表演场地的灯光效果、反射状况要求都挺“苛刻”,而且演员的动作稍不到位,后期处理就变得困难。谁还敢说电脑时代不需要演技,“花瓶”对“Marker”毫无吸引力。
动作捕捉技术出现得很早,但走进大众视线,还是最近这几年的事情,这一切都要感谢彼得·杰克逊,否则最近十年的好莱坞电影可能丧失了不少精彩。
技术不是制胜法宝
《铁甲钢拳影》主演之一休·杰克曼说,我们可以看到一起演出的机器人,并随着场景情境的变化做出相应的调整,这不是一部单纯的运动电影,最初吸引其加盟的原因,就是这个故事所传达出的情感观。
而事实也是如此,父子情的戏码让观众觉得舒服和妥帖,感情戏并未被炫目的机器人打斗抢去风头。而剧情中体现亚当越来越能读懂小主人心意的小细节设定,更是为影片的温情路线加上了重要砝码。
尽管电脑技术越来越超乎想象,但故事本身依然是影片成功的关键。王雷表示,动作、表情捕捉技术,都只是电影视觉革命的一种手段,剧本的内容、演员的表演仍是左右电影质量的重要因素。
就连这项技术的重要推动者彼得·杰克逊也在《丁丁历险记》拍摄结束后明确表示,他运用动作捕捉技术只是想证明用虚拟场景反映一个真实的世界究竟有多大难度,塑造丁丁这样的一个人物是否可行,而不是为了炫特技。他反对将这项技术作为吸引票房而制造的噱头。
好莱坞的技术巨头们
彼得·杰克逊
代表作品:《指环王》系列、《金刚》等
有人甚至认为,他带动了动作捕捉技术的崛起,指环王之后几乎每部特效片都忍不住踏上这条完美的捷径。另外,他和他的维塔工作室也依然在巩固领导地位。
罗伯特·赞米基斯
代表作品:《极地特快》、《贝奥武夫》等
《阿甘正传》中让阿甘和肯尼迪握手的特效处理让罗伯特·赞米基斯一度成为特效领域的领军人物,可惜他过分注重技术的纯粹性,却忽视了技术与情节的融合。
詹姆斯·卡梅隆
代表作品:《泰坦尼克号》 、《阿凡达》等
【动作捕捉课程】推荐阅读:
捕捉幸福06-24
中班科学捕捉蚂蚁06-07
捕捉课堂亮点,促进动态生成01-27
捕捉儿童成长敏感期读书心得09-17
捕捉大闸蟹作文300字09-18
《捕捉幼儿敏感期》读后感10-16
捕捉幸福八年级优秀作文03-26
捕捉幸福作文700字说明文01-17
捕捉教育契机,开展课堂教学教育心得02-23
老师要学会捕捉孩子的心理教育随笔04-12
注:本文为网友上传,旨在传播知识,不代表本站观点,与本站立场无关。若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:iwenmi@163.com