火狐体育网址

北京冬奥开幕式“舞台黑科技”:AI实时特效让表演更自由、灵动


文章出处:出口盘具    发表时间:2024-09-15 05:10:25

  数百个小朋友举着和平鸽模型在舞台上自由跑动,脚下踩出一片片雪花,他们时而散开,时而汇聚,星光也跟着孩子们的脚步流动……

  “这些雪花效果是怎么做出来的?为什么和演员配合这么精准又自然?”2月4日,北京2022年冬奥会开幕式上,演员们与脚下“屏幕”的互动给观众们带来了前所未有的“神奇”体验。

  不只是雪花,还可以呈现出火焰、波浪等多种多样的效果,这些效果有个专业术语——“AI实时视频特效”。炫酷的视觉效果背后,是一套实时捕捉和交互系统,能够捕捉演员实时位置及姿态,并渲染出相应的美术效果。

  新京报记者获悉,此项技术此前鲜有应用,它既是“科技冬奥”的典型体现,也成为北京2022年冬奥会开幕式上的一大亮点。在该技术辅助下,演员得以在场地上自由发挥。“演员可以不按照预设路线运动,有了更大的表现空间和自由度。”

  这项AI实时视频特效工作由北京电影学院声音学院师生团队承担。他们就像一个“智囊团”,基于AI以及游戏引擎技术,为多个环节的不同节目提供演出实时特效。这场开幕式背后,技术如何与艺术对话?这些“身怀绝技”的小组成员向新京报记者揭秘开幕式背后的高科技。

  开幕式《致敬人民》节目的AI实时视频特效,由北京电影学院声音学院师生团队制作。图/新京报记者 巫慧

  在国家体育场(鸟巢),开幕式整个舞台是一张巨大的屏幕。“AI实时视频特效”实现的最终效果就作为节目的一部分实时呈现在舞台上。

  马少典是小组成员之一。他从北京电影学院声音学院研究生毕业后留校工作。马少典和记者说,“AI实时视频特效”是多种技术的综合运用。这中间还包括一些比较前沿的技术,例如人工智能模型训练、游戏引擎与图像合成技术;也依赖于各类成熟的综合技术,包括图像采集、网络通信等等。

  首要难点在于,如何准确地追踪和捕捉场上几十人、几百人的实时位置及状态?记者通过调查了解到,这项技术此前从未大规模应用过,团队为这次开幕式专门做了大量实验研究及调整优化。

  据悉,传统舞台的定位技术有很多,包括雷达扫描技术、电磁波定位技术,而在影视中常用的是在人身上贴传感器,捕捉人在空间中的位置。

  而“AI实时视频特效”与之不同,这项技术的原理是通过图像进行识别,“通俗来讲,面向需要扫描的区域架一台摄像机,将它拍摄到的图像通过AI系统来进行实时分析,判定人的坐标。”

  这其中,要使用到AI模型训练。“其原理是,通过前期海量的图像采集、把视频资料提交给AI训练系统,让AI模型进行自我学习进化,进而形成与此次演出高度关联的识别模式,让系统更准确地识别。”马少典称。

  而通常情况下,摄像机采集图像输入给系统算法、再将算法反馈出的效果输出至屏幕,是需要一个反应时间的。“因此,要实现屏幕美术效果和每一位演员的动作实时同步,让观众看起来效果是跟着人的,这是整个项目的一个技术难点。”

  对此,该团队“多管齐下”解决延迟问题。一方面苛刻地选择设备,保证数据一环一环传递,最好能够降低设备造成的延时;另一方面,根据鸟巢舞台特殊的场地条件对算法来优化,补偿此前在实验室环境中未曾预料到的延时;此外,通过优化调整美术渲染生成的图案及其触发的方式,也会让最终呈现效果看起来恰如其分。

  开幕式《雪花》节目的AI实时视频特效。数百个小朋友在舞台上跑动,脚下踩出的片片雪花跟着孩子们的脚步流动。视频/新京报记者 巫慧

  “通过AI技术只能得到相对精确的坐标,但这无法呈现给观众,观众可不愿意看几十万个坐标和代码。”马少典打趣道。

  因此,最终的美术效果呈现也是“AI实时视频特效”中很重要的部分。通过AI进行识别后,要靠算法按照事先设置的规则进行实时渲染,最后生成画面。

  马少典和记者说,这部分工作由多个美术团队共同配合完成。“不同美术团队根据导演设想,先为不同节目生产制作出传统形式的美术底图素材,我们将这些素材整合到实时平台中去,在此基础上加入与人相关的交互效果。”

  这与传统舞台演出有着本质差别。“传统模式中,一般预先制作好一个视频,在屏幕上播放,让演员事先记住视频画面及播放进度,再配合练习好,包括哪里快、哪里慢、哪里转身,并在对应的时间点移动到对应位置。”

  而在AI实时视频特效技术辅助下,演员得以在场地上自由发挥。“演员可以不按照预设路线运动,有了更大的表现空间和自由度。”这不但能够更好地实现导演的创意和设想,普通观众也能直观感受到这种表演方式的自由与灵动。“观众也能够感受到,这样的表演,仅靠刻苦排练,是难以完成的。”

  马少典举例称,北京2008年奥运会开幕式中,很多恢宏整齐的表演,有明确的时间点和节奏,大家动作整齐划一或者有既定的规律。在北京2022年冬奥会开幕式中,导演希望在精确和规范之外,融入更多个性化的呈现。

  “几百个孩子在舞台上随意跑动,要求每个小朋友都能对位置做精准记忆是很难的,精准的同时又要让每个孩子自如发挥、自发表达,而不被牵着走,更难。”在马少典看来,当演员自由表演时,会有一种灵气和生动感,和传统表演是不一样的。

  在多次彩排中,他也明显感受到,这项技术是“通用”的,不依赖于在人身上绑定传感器来实现,不论是大人、小孩,不论年龄、职业,包括误打误撞进入屏幕上的人,都能实现实时互动,“像一个人人可参与的游戏,非常有感染力和吸引力。”

  在一次次的效果调整中,导演时常采用比较艺术化的语言方式,给出的指导或者反馈常常比较抽象。因此,如何将导演给出的抽象化的指导意见,准确翻译或转换成为能够实际呈现出来的美术效果,找到相适应的技术方案,也是团队面临的一个挑战。

  对此,团队的应对之策是,每次多准备几种方案,让导演在对比中找感觉。“导演可能会告诉我们,每个方案都不理想,但是其中哪一种相对来说更接近他脑海中想要的,或是给一些提示,然后我们再慢慢向导演给的方向去靠拢。”

  有时候这些方案也会给导演意外的“惊喜”。团队有次给出的效果呈现出来后,是导演没想到的,反而启发了导演的灵感:“原来这个工具还能这么玩!”马少典称,如果某种效果更能表达导演的创意,导演也很善于将实时交互的特效融入到作品当中,调整编排的思路。

  “这个项目很复杂,需要既懂系统架构、又懂算法、又懂视觉合成,甚至要精通不同演播系统的颜色管理……这些技术问题是需要综合多个专业的人来配合完成。”马少典称。

  来自北京电影学院声音学院的这支团队的人员配备,刚好可以胜任这一专业角色。小组成员加起来不到10人,一半是教师,一半是学生,其中最小的一个还是大四年级学生。

  这些成员大部分都有着交叉学科背景,可以说个个“身怀绝技”。有的同学擅长视频后期处理,有的同学拥有计算机学科背景,搭建系统等技术工作会得心应手;团队中有的成员擅长美术效果设计,特别是在实时交互平台中非常有经验;还有的成员擅长将底层代码和美术效果联动,将数据转换成视觉作品……大家分工不同,各有侧重。

  “我对工程很喜爱,对艺术也很喜爱。”马少典的本科专业是道路桥梁与渡河工程,研究生考到北京电影学院。他隐约感受到,未来艺术项目不是单纯的有个想法就能够呈现出来,而是需要大量与技术的对话。考入北京电影学院后,他发现,学校在培养过程中也的确鼓励学生们发展综合素养,而不是单单钻研书本里的知识技能。

  “虽然此前也参加过国家级的大型活动,但承担这类实时交互作品的系统模块设计以及现场运行工作,确实是第一次。”马少典和记者说,在这样超大规模的国家大型演出活动中,实时交互特效可成为整个演出中的一个不可或缺的元素,呈现给世界观众,展示出实时互动艺术的独特魅力,让他们倍感欣慰。