wuhu专访
谈到动作捕捉
相信大家都不会感到陌生
它是捕捉演员表演时的动作
在运动物体的关键部位设置跟踪器
然后把这些动作同步到电脑中的虚拟角色上
使虚拟角色的动作和真人毫无差别
以达到逼真、自然的效果
目前已运用在影视动画、游戏、医疗等领域
可你知道吗？
“动捕”其实早在100年前就被运用了？！
1915年，动画大师 Max Fleischer 研发了影像描摹技术“Rotoscope”，被看作是动作捕捉的雏形，并且它的影响力至今还存在。1937年世界第一部动画长片《白雪公主》就是依靠这项技术让手绘角色无比生动。后来入选奥斯卡最佳电影的《美女与野兽》《电子世界争霸战》也都使用到了这项技术。
到了上世纪七、八十年代，动作捕捉开始作为生物力学研究中的摄影图像分析工具。而直到1990年，电影《全面回忆》标注着动作捕捉的银幕首次亮相。这是历史上第一部使用动作捕捉技术的电影，使用动捕的戏仅仅只有几秒钟，当时由动捕公司Motion Analysis提供技术支持，那时的动捕设备甚至还是有线的。
2001-2003年，《指环王》系列电影称得上是动作捕捉的标杆之作。那时“咕噜”的镜头要制作三遍：第一遍是演员穿着白色衣服进行实拍；第二遍是电脑中将演员擦除一边放置咕噜；第三遍才是演员穿着带记录点的动作捕捉衣进行表演。这样做的原因一是因为当时的服装只能捕捉少量的基本数据点，二是由于演员与咕噜的体型差异过大，最终要想完美的效果仍需动画师来完成。
2008年由詹姆斯·卡梅隆导演的电影《阿凡达》实现了动作捕捉技术在电影中的完美结合，也让动作捕捉开始被大众广泛知道。电影使用到了4个突破性技术：与人眼无限接近的3D摄影机、可以“无中生有”的虚拟摄影机、升级版动作捕捉和表情捕捉。这些技术尽可能地让演员的表演被100%传递到电脑里去，这也是为什么《阿凡达》被称之为“电影技术的革命”。2022年，《阿凡达2》吸引了全球观众的注意！卡梅隆导演和他的团队又将在动作捕捉技术上做出怎样的玩法？令人十分期待！
从1990年大银幕上第一次出现动作捕捉技术开始，这项技术如今已走过了32年。
国内影视动画领域的动捕应用虽然稍迟一些，但是成绩依然突出。以最近的2021年国产奇幻冒险电影《刺杀小说家》举例，影片第一次将虚拟拍摄、动作捕捉、实拍、CG等多项技术整合到一起来使用，搭建了当时中国最大的一块动作捕捉场地，足足有800平方米；片场还有100台摄像机，20台电脑，120个动作捕捉摄像头……制作团队不仅挑战最尖端的拍摄技术，更是实现了一套标准化的全新工业流程，可以说是一次国产电影工业的新革命。
被誉为“国漫动画新类型”的《凡人修仙传》，突破了传统动画制作模式，使用“真人动作与面部表情捕捉+实时UE引擎”的整套实时动画制作流程，也是近年来受到关注度颇高的一部作品。其动作捕捉严格依据国际高品质CG电影的技术标准来建设，搭载全新实时Online动捕技术，以及实时生成面部动画的表情捕捉系统，可以同时捕捉多人全方位动作及面部表情，将“动作捕捉”提升到“表演捕捉”的新高度。
我们正在奋力赶上国外的发展脚步，要想缩短差距，需要一个接一个的冒险者迎难而上。背后不仅只是一套高效流程的建立和完善，更需要来自科技的支撑。恰逢元宇宙兴起的当下，国内对于动作捕捉的关注大大加强，一些专注于动捕的技术开发者正在不断努力。
为动画《凡人修仙传》提供了动捕技术支持的领先企业青瞳视觉，一直在不断探索新技术和开发新产品。从影视动画游戏到虚拟偶像，从军工医疗教育到工业生产，动作捕捉是他们潜心专研的方向。谈到元宇宙和动捕的关系，青瞳视觉CEO张海威先生说到：“动捕是开启元宇宙大门的钥匙”。
为何这样说？7月1日，青瞳视觉在发布会现场首发了万元级新品，吸引了国内众多大厂的关注。我们也有幸受邀参加了这次发布会，并与张海威先生有了一次深入的专访，就青瞳光学动捕新品、动捕在虚拟偶像和动画中如何更好呈现与提升效率、国内外动捕发展情况等问题进行了交流。从中我们可以找到答案。
wuhu专访
第251期
2015年8月创立上海青瞳视觉科技有限公司，定位于人工智能领域的人机交互技术。目前核心产品为动作捕捉、表情捕捉，主要应用于影视、动画、游戏、教育、医疗、体育、军工、虚拟现实、增强现实等领域。青瞳视觉专注于提供好用的交互技术，降低人与计算机之间的沟通成本，让计算机与人类做朋友。
Q1
张总您好，感谢您接受wuhu动画人空间的采访。青瞳科技作为国内动作捕捉系统的领先公司，专注研究完全自主知识产权的低成本高精度动作捕捉产品，这和您的深耕多年的经历密不可分呀，了解到您08年毕业于中国科学院自动化研究所模式识别与人工智能国家重点实验室，后在15年创立了青瞳，“让计算机与人类做朋友”还是您简介中让我比较印象深刻的标签，可以和我们聊聊当年您创立青瞳的故事吗？“青瞳”这个名字有什么寓意？您是如何理解公司开发的产品和人类做朋友的？
当时起名字主要围绕眼睛与视觉。“青瞳”的“青”，有垂青的意思，这里的“青”也就是眼睛；“瞳”，本义也指瞳孔。我们给自己的定位，就是做计算机视觉相关的软硬件开发。计算机视觉是让计算机用视觉、图像的方法去理解世界。像现在比较火的AI人工智能，就属于从计算机视觉中发展出来的方法，以及动捕、定位、人脸识别、指纹识别等等都属于这个范畴。
我是中科院自动化所毕业，学的专业是计算机视觉，自己也特别喜欢。但是2008年毕业那会儿其实计算机视觉专业很难找到工作，不过也在上海找到了一家做全景的公司，于是就在那边工作了一段时间。
但是自己心里一直也想在计算机视觉领域做出一些成果来。
因为我觉得从趋势来讲，计算机肯定是越来越智能，它会辅助人类做各种各样的事情。计算机要想智能必须得有传感器，就像咱们人一样。计算机早期是人输入命令，但是随着技术的发展迭代，它会有一定的自主性，能自己采集各种信息，然后去做处理。在计算机信息采集中，视觉是计算机最主要的一个采集器官，就像我们人类70%的信息输入依靠视觉。所以我对这个领域一直特别看好。
后来一直想创业，偶尔在一家做虚拟仿真的公司接触到了动作捕捉。当时觉得这个方向比较适合在计算机视觉领域创业。因为从技术的迭代来讲，人与电脑的交互早期是用键盘，Windows时代我们用鼠标，智能手机时代我们用触摸屏。那么接下来将会有越来越3D化的体感交互。另外当时做动作捕捉的企业比较少，这个竞争压力相对是比较小的。所以我就投身到了这一块领域的创业。
光学动作捕捉流程示意图
动作捕捉的应用范围很广。简单的总结，就是一方面我们可以让人们精神上更快乐。比如像影视动画、虚拟偶像、VR等更多是从精神层面上对大家有一定的影响；还有一方面是可以让人类的身体更健康。动捕可以去分析人的动作，将其运用在康复医疗、生物力学分析等方面。另外它也可以用在工业领域，提升工业化生产效率，从这个意义上讲，也可以让大家更富有。这些都是辅助人们去做各种各样的事情，去为人类服务，所以我们希望能让计算机视觉做人类的朋友。
Q2
如今，动捕在行业内有着广泛的应用市场和发展前景，看到您在公司的产品结构导览图里做了细分，可以图文或者视频的方式给大家介绍一下咱们公司的核心产品中的一些展示视频。
首先我们用动画《凡人修仙传》和《眷思量》的幕后动捕花絮视频，来展示一下我们的动捕产品在拍摄现场的运用吧。
花絮中出现的光学相机是青瞳研发的MC系列，主要应用在高精度动作捕捉领域，拥有高精度的定位追踪性能，较低的延迟时间和动作数据平滑输出，相机超高分辨率可以对更小、更远的目标进行灰度解析，能轻松构建大范围的动作捕捉空间。
不过以上展示的都是一些大型团队使用的，他们制作精良、制作周期长、成本特别高。
但是对于轻量级团队来说，要想同样获得高品质的动捕效果，情况就有所不同了。所以这次新品发布会，我们为轻量级用户量身定制了一套新方案——消费级虚拟数字人直播方案“普罗米修斯”。这套方案的特点包括：高品质、低成本、全流程、小空间、双人互动。
方案中最为值得一提的产品，包括X1动捕相机、Look Me面捕头盔、Feeler 7 数据手套，后面我会提及到在这些产品上所做出的突破和创新。除此之外，我们还为用户提供了其它配套服务，如动捕场地、动捕服、动捕软件等。
X1动捕相机
Look Me面捕头盔
Feeler 7 数据手套
动捕服
动捕软件Avatar Lite（上）和Cinderella（下）
青瞳位于上海、合肥、北京、杭州、台北等地的动捕棚，以及碳素片场
Q3
我们关注到了这次新品发布会具有非常特殊的意义。首先它带来了青瞳最新的产品展示，包含了X1、LOOK ME面部捕捉头盔、Feeler7动捕手套等，受到了来自国内影视、动画、游戏、互联网等众多知名公司的关注，张总能为我们介绍一下这些产品的突破之处，以及背后的探索过程吗？
从整体来看，动捕技术在早期是比较“高冷”的。它只在一些特殊行业领域应用，成本也非常高，所以受众一直都比较小。国内对动捕接受度就更晚，这几年逐渐能感觉到更多的接触度。并且随着VR、元宇宙的兴起，大家对动捕产生了更多兴趣。
此时市场也在呼唤低成本、全流程的解决方案。在实际的过程中，我们也发现大家对动捕的需求愈加强烈，由此我们便想做出一整套的解决方案出来。
从动捕的具体发展来看，其实光学动捕有几个致命的缺点，而这些缺点也正是我们团队研发的新产品的突破之处。
第一个缺点是光学动捕的价格非常高。国外动捕技术价格几百万、上千万都有，对于大多数用户来说根本买不起。以往青瞳的价格也包含了几十万、几百万，与几家影视动画大厂合作之后，他们的反馈也都特别好，基本离不开动捕了。但是我们也考虑到还有很多小团队的需求，对于他们，其实一款入门级的产品便可满足常规应用。
所以我们这次新产品的第一个突破之处，就是把这个价格拉更低了。
我们更新了硬件架构，成本比之前的大幅降低。以往的产品用的是大规模可编程集成电路，这种成本非常高，但是它性能也是非常强大的，可以支持的上限非常高。由于硬件性能的下降，我们就在软件的算法上去提升，让产品的整体表现不会跟之前有太大差异。另外我们改变了商业模式，把首次购买的毛利做到很低，依靠长期的软件订阅来赚取利润，这需要产品能够持续带来价值，对此我们非常有信心。
X1动捕相机
第二，光学动捕经常被人诟病的一个问题，就是特别占地方。
之前的光学动捕可能至少要50平方米的空地。像北京、上海的房租特别贵，拿50平方米甚至更大场地去布置一套光学动捕，会特别浪费资源。为什么光学动捕占地方，是因为之前动捕相机的视场角比较小，简单通俗的说就是一个相机能看到的范围有限，它的死角比较大，造成的盲区也就大。另外也是算法的问题，要求多个相机能看到才能追踪到。
那么我们的新设备的突破之处就在于，将相机的视场角放大了，角度为83° x 73°，于是现在我们只需要3x3平方米的空间就可以使用光学动捕了，场地范围大大缩小。
83° x 73° | 大FOV | 低死角 | 3 x 3 小空间
但是这么大的视场角常规来讲，图像畸变会比较严重，会影响捕捉的精度。所以我们一方面定制了一颗相对来说畸变比较低的镜头。另外一方面我们也是从算法上去做各种优化。让设备在大视场角下仍然能保持比较精准的捕捉。
第三，光学动捕还有一个问题就是不便携。
光学动捕的相机是要固定在墙上的，不方便随身携带和操作。基于此，我们开发了一个数据异地传输的功能。
比如说如果动捕棚在北京，那么它可以把数据实时传输到上海，加上5G网络的加持,这样就方便快捷了。异地传输还有一个好处就是，如果北京有一个虚拟偶像，上海有一个虚拟偶像，数据可以整合到一起，那么就可以实现异地同台演出。
第四，光学动捕操作复杂的问题。
因为它是比较专业化的一套设备，对专业度要求比较高。在我们的新产品里，现在软件操作是非常简单的，用客户的话来说，我们的动捕软件是比较“傻瓜式”的，相对来说轻松上手，操作难度降低了很多。
在动捕相机方面，我们也做了创新。在相机前我们增加了一整块玻璃，不仅美观，且在后期的维护和保养方面更便利了。之前光学动捕的镜头都是露在外面的，因为光学动捕在捕捉时一定要有一个闪光灯，去发光照到人身上，然后相机才能去捕捉。如果说只是增加一块玻璃，这个光打到玻璃上，它会反射到镜头里面，这样镜头里就是一片白。我们的解决方案就是让光线不能反射进来，这里面是有很多文章的。
另外我们在相机上增加了状态面板，它会发出各种颜色的光，通过变换的颜色、闪烁的频率来指示某一种工作状态，提高了效率。
三色可视化状态面板提示
在头盔方面，我们让它更轻，使用难度更小，续航更长久。
我们把苹果手机放在头顶上，将手机摄像头用一根延长线引出来，并且为了缩短镜头到人脸的距离再加了一个广角镜头，那么整个摄像头就可以离人脸更近，捕捉更精确。还可以做一些比较剧烈的运动，像打个滚、翻个身都没问题。
高级款面捕头盔
另外我们还在与快手Y-tech联合开发一个新的面捕头盔，使用专业的摄像头后头盔重量会更轻，续航也能更长。
与快手Y-tech研发的高能款
在动捕的数据手套方面，我们也有一点创新。
之前的数据手套绝大部分是惯性数据手套，但是对我们光学动捕来讲，它有个问题。我们光学动捕服本身就有手套，然后需要在外面再戴一个手套儿，就会特别笨重，且勒手。最严重的一个问题是演员（中之人）手的大小都不一样，捕捉出来的数据就不准确。
所以我们重新设计了一下，把传感器封装成一个小盒子，然后加上魔术贴，直接把它粘到我们动捕服的手指上，这样位置就准确了，且贴合度也够，舒适度提升了。并且手上还有按键，带震动功能，可以跟虚拟物体进行交互，便于演员（中之人）去做相应的表演。
Q4
此外，尤为值得注意的是，咱们青瞳具有国际领先水平的“基于红外光学的动作捕捉技术”，并在此基础上形成了一系列具有完全自主知识产权的低成本高精度动作捕捉产品，在虚拟直播和动画游戏领域可以很好的应用，这是否意味着个人或者小团队就能轻松地运用动捕？这些应用成本高吗？产品使用要求与难度如何？可以和我们展开介绍一下。
我们这次发布的产品的确是针对轻量级客户，它是指中小型企业客户，但不是个人。因为我们的设备仍然是专业度比较高的产品。它仍然是有一定的使用门槛，不是开箱即用的产品，所以适用对象也是轻量级的小团队，这也是我们产品的一个定位。
首先在系统上，我们做了更多的简化参数。客户在使用过程中操作会相对比较简单，不需要调整太多的参数。我们也做了大量的友好提示，比如什么时候相机需要校准了，我们系统会自动提示；在创建动捕的时候会贴点，系统也会友好地提示哪个地方贴多了，哪个地方贴少了。
第二，我们把一些软件做了集成。比如动捕和手指软件集成在了一起，后续会再加上面部软件，这样三套设备就可以在同一款软件里。以及我们把动捕系统和直播系统集成到一个软件了，那么操作起来就非常便利了。
另外，我们也考虑到客户在使用过程中会出现各种疑问和操作难题。所以我们也在制作一些教学视频，包括一些动捕使用过程中的常见问题。我们会把这些教学视频放在专属网站，还有论坛供大家提问和解答，也有微信群提供在线技术支持，辅助大家把这套系统用起来。
www.digi-human.com/community.aspx
（青瞳官方交流群，VX:ChingmuMocap）
Q5
如今火热的虚拟偶像直播中，能否以青瞳最近在虚拟偶像直播的应用，为我们介绍一下青瞳解决了哪些难题，带来了哪些创新运用，提供的技术又发挥着怎样的作用？
在虚拟直播领域，我们合作的案例也比较多。
例如，我们与B站的虚拟偶像团体——四禧丸子，有着较为深入的合作。我们不仅提供了整个动捕技术方案，做了前期的技术支持，也按照他们的要求定制化开发了一套直播系统，平时的运营我们也有参与。
Vtuber主播LEINA，使用到青瞳光学动作捕捉设备与技术，请到专业的动捕演员穿着贴有反光球的特殊动捕衣，由多个高速相机从不同角度捕捉演员动作，即时反应至虚拟角色，并使用最先进的虚拟导播软件VT Live投放至Unreal虚幻引擎的虚拟场景中。
还有虚拟主持人Miss U、虚拟歌手井小一等。
我们还与创幻、华为合作二次元偶像直播，依托“高速度，低延时”的5G网络，该技术将青瞳视觉动捕实验室的动捕数据，传输到异地的工作站中，工作站实时渲染，再给到VR头显。
Q6
如今动画制作与动捕技术愈加紧密相连，以动画《凡人修仙传》《眷思量》来举例，流畅的动作与细微的表情都被观众称赞“良心制作”！青瞳的产品在背后为制作组提供了哪些支持？针对动画制作，青瞳又有哪些优化和个性化服务呢？
动画《凡人修仙传》的武打动作特别多，而且难度也大，所以对动捕的要求也是非常高的。原力科技之前用的是国外的一套动捕系统，后来想找国内的团队来做技术支撑。经过一番考察后，觉得我们青瞳的产品性能还不错，所以就与我们达成了合作。
动捕系统在动画制作中的角色是一款工具，主要作用就是提高动画效果和提升效率。在与原力的合作中，我们主要做了以下几个方面的优化：
第一，提升效率就是要让动捕效果尽可能好，尤其是要让导演在现场就能判断出这场戏的动捕质量怎么样，如果质量不好就能马上发现，让演员重新再表演一次，直到表演达到了导演的要求。在以前如果动捕效果不好，导演在现场是看不到最终画面的，他无法判断演员的这次表演好还是不好。如果重新再返工的话，就会导致成本非常高。
第二，针对演员表演与模型表演差别比较大的问题，我们也做了优化。
因为模型的身材跟演员的身材是不一样的，比如在《凡人修仙传》前两集出现的金光上人，他是一个小侏儒，演员与他的身材相当不符，那么怎么把演员的动作给到模型，这里面就牵扯到很多技术问题。我们开发了一套重定向的系统，相比Autodesk的Motionbuilder来讲速度快、稳定性好，导演能直接看到角色最终表演的效果。
《凡人修仙传》动画片段
第三，我们把动捕系统与虚幻引擎的流程打通了。
导演在现场看的是动捕在虚幻引擎中的画面，这样的效果已经接近了最终成片的70-80%，极大地提升了效率。
第四，在数据后处理方面。我们为原力单独地开发了一套数据后处理软件，用这个软件去处理动捕数据，效率会提高很多。
我们还提供了非常多的个性化功能，比如我们创建了演员模板这个概念。
因为原力有两个动捕棚的，大小各一套。在做光学动捕的时候，首先要对演员创建一个骨骼模板。如果在大棚进行创建的话，就会影响动捕的进程，就会降低效率。所以只需要在小棚里进行骨骼的创建、优化等。
由于大小动捕棚的两套系统是互通的。在小棚里优化好了之后，大棚可以直接获取到小棚的数据。然后演员只要走到大棚里，大棚就可以直接识别到演员。而且即使动捕服、贴点的位置发生了变化，当他重新回到场地后，我们不需要重新创建模板，用原来的模板更新位置就可继续正常使用，效率会提升非常高。
对于动捕设备的校准，我们也优化了。国外的设备往往一天要校准多次，由于场地非常大，校准一次可能要半个小时，非常费时费力。我们做了优化后，一天校准只需要一次。《凡人修仙传》之后，我们动捕去支撑其它动画项目相对来说就比较简单了，因为在经过与原力的合作之后，整个系统对于动画制作来说是比较便利高效的。
Q7
除了虚拟偶像、影视动画之外，青瞳的产品在游戏、教育、医疗、体育、军工、虚拟现实、增强现实等领域都有着涉猎，您能为我们详细介绍一下吗？他们都有着怎样的效果和应用，可以用一些例子展开聊聊吗？
在军工方面，我们的设备已经广泛地被采用了。在虚拟演练系统中，场景可以千变万化，可以模拟世界各国地形地貌，以及像火车站、机场、地铁、民房等多种环境。另外利用动捕可以将所有的训练数据都记录下来，便于事后做复盘分析。
在教育方面，3D画面加上动捕，可以实现与物体的互动，提高趣味性和操作感，促进教学和学生的学习。在工业方面，可以对无人机、机械臂、机器人等进行实时高精度定位，用来监控、纠正或者评价这些智能体的工作状态，也可以用来辅助这些智能体进行决策。
在医疗方面，利用动捕定位可以实现微创手术导航，减少对器官的损伤；比如脊椎穿刺手术、膝关节置换等。
Q8
针对当下比较热门的元宇宙，青瞳专注研发的光学动捕在其中扮演着什么角色？您是如何看待元宇宙与动捕系统的关系和发展？
光学动捕，我认为它是开启元宇宙大门的钥匙。
我认为真正意义上的元宇宙，类似于电影《头号玩家》中描绘的场景。元宇宙是一个与现实世界平行的虚拟世界，每个人在虚拟世界里面都有自己的数字化分身：数字化分身就是以数字形式存在的另外一个我，需要高度还原我的动作、表情等等，这样才能称得上是平行世界。
而动捕、面捕这些设备和技术是进入元宇宙的一个必备条件。就像《头号玩家》中那样，玩家进入游戏前必须穿戴一套设备才行，所以说这些设备是进入虚拟世界的钥匙或者桥梁。人机交互技术越发达，人们在元宇宙里面就能越自由，或者说元宇宙才能发展越好。
Q9
目前国际上的光学动捕发展情况是怎样？出色的公司，应用范围和难题都有哪些，您是如何看待光学动捕未来的发展？
其实光学动捕一直是国外在引领发展潮流。他们做光学动捕大概最早是从90年代开始，到现在有30年了。我们也是希望通过这次新产品的发布，在某些方面能够超越国外。
在国际上出名的如VICON，国内很多高校、企业都在使用，应用于动画、生物力学等领域；美国动捕公司OptiTrack ，应用范围比较宽泛，它的优点在于性价比高；在医疗领域，如NDI，专门应用于手术导航，拥有90%的市场占有率；在体育、生物力学领域，如Qualisys，这家企业近两年发展很快；德国老牌厂家ART，主要是聚焦在虚拟仿真；美国Motion analysis，产品广泛应用在运动分析、康复医疗、动画制作等广泛领域。但是这些动捕技术在之前主要应用于专业领域，穿戴使用比较复杂，今后会向AI化去发展，会走进我们的日常生活中。
Q10
在后续的发展中，青瞳的产品还会有哪些突破方向值得期待的？您对青瞳公司自身的定位和未来发展规划有着怎样的期待？
未来我们在影视动画、虚拟偶像等领域还会持续保持投入，让整个系统越来越轻便，成本越来越低，越来越好用，另外时机成熟的时候也会有AI动捕的方案提供给大家。
此外，我们也将会在其它领域，如运动健康、工业、生物力学等方向继续布局和研发。
感谢张总分享的青瞳视觉动捕新品，以及青瞳视觉在国内动捕领域所做的探索和突破。诚如张总所说，此前一直由国外领导发展的动作捕捉，如今也有着国内企业的加入。它所带来的不仅是一个行业的进步，也将影响到如影视动画游戏、医疗教育、人机互动、生物力学等领域的发展，带来更多可能性。
以影视动画来说，《白雪公主》《黑客帝国》《阿凡达》《爱，死亡和机器人》《凡人修仙传》等作品的幕后都离不开动捕的身影，大大提高了制作效率的同时，更为人们的感官带来了超乎想象的体验。不妨大胆猜想一下，或许未来我们还会有基于动作捕捉的新观影体验、传播媒介。
更值得期待的是，“年轻”的动作捕捉技术未来势必还将有更大发展空间和方向。在元宇宙的探索之下，以科技和文化的共同发展为前提，相信我们离科幻的距离正越来越近。
—END—