Radio Italia Cina

当戏曲遇见未来?AI修复再现近50部经典曲目,3D戏曲老师演绎“抖水袖”

di Redazione pubblicato il 6 Febbraio 2024

智东西(公众号:zhidxcom)

作者| 香草

编辑| 李水青

智东西2月3日报道,正值小年夜,一场主题为“当科技遇见戏曲之美-甲辰龙年小年夜戏曲焕新”的直播活动拉开了“中国戏曲文化数字焕新行动”的序幕。该直播由文化和旅游部艺术发展中心联合腾讯共同发起,围绕词韵之美、程式之美、影像之美和焕新之美四个篇章,创新演绎了京剧、越剧、昆曲、川剧等剧种的经典唱段。

▲戏曲演员现场表演(图源:腾讯)

除了现场表演外,直播还通过腾讯多媒体实验室的AI修复、6DoF等数字技术高清再现了近50部经典剧目,让观众“零距离”体验戏曲的“唱念做打”,在一招一式中沉浸式感受中国传统文化的魅力,共吸引超700万名线上观众。

在直播之前,智东西与少数媒体与戏曲焕新项目的负责人进行了深入交流。

腾讯可持续社会价值事业部数字文化实验室负责人舒展告诉智东西,在戏曲等传统文化的传承中,面临的挑战一是许多经典曲目格式老旧,传播方式固化,难以引起年轻人的共鸣;其次,大量珍贵的戏曲影像资料以胶片形式留存,很多因保管不善已经残损;第三,传统的师傅带徒弟教学方式比较受限。
面对这些挑战,团队选择通过新兴的数字技术,从保护到传承,再到活化、利用,从各个维度来助力戏曲文化的传播。其中,团队基于腾讯多媒体实验室自研的AI影像修复技术,对经典戏曲剧目影像资料进行数字化的抢救、抢修,以保障珍贵艺作品得以流转;团队还聚焦重点剧种,建设戏曲数字资源库,启动程式录制工作,利用体积摄影录制专业戏曲演员经典程式,并以6DoF流媒体传输技术最终交互呈现。

一、AI修复残损影像,打造经典作品数字修复样板

老一辈艺术家的珍贵影像大多数上世纪五六十年代拍摄录制,多以胶片、磁带为存储介质,由于时间推移,已出现褪色、划痕、噪点等视听问题。

针对这些问题,腾讯多媒体实验室基于多年的多媒体通信和处理研发经验,利用AI影像修复技术对经典戏曲影像资料进行修复和呈现。据悉,此前面向老片修复场景还专门推出“超清沉浸感修复引擎”技术解决方案。

▲修复前后的《花木兰》戏剧影像资料(图源:腾讯)

在修复的过程中,团队也不免遇到许多技术层面的难题。如影像资料时间跨度大、数据量少、灯光色彩复杂等,对算法带来一定的挑战。

腾讯多媒体实验室扩展媒体中心负责人、国际标准专家许晓中谈道,为了克服数据量少的困难,团队做了很多方面的尝试,如给定一个可以用作训练的数据内容,想办法充分挖掘其中的信息,包括对一些相关的片段进行各种组合,使它产生多样化的数据等方式。

据介绍,AI影像修复技术主要分为四大模块:智能分析、画质修复、画质增强以及智能编码。

智能分析指的是利用多种人工智能评估算法,对视频内容进行帧级别、场景级别和视频级别等多维度的分析,评估视频的运动和纹理复杂度、压缩失真程度等,得到不同维度的内容分析结果。
结合智能分析得到的信息,画质修复模块可针对老片中常见的竖线、雪花点、噪声、压缩失真、抖动等问题进行修复。其中“人脸修复”的步骤基于团队自研的人脸修复模型,利用人脸检测、人脸修复和融合模块,将图像修复迁移到视频过程中并加入帧间稳定性处理,解决了人脸检测稳定性。

在修复模块的基础上,画质增强模块将利用最佳视频增强算法,对画面进行多维度画质提升,包括在空间、时间上对视频的分辨率和帧率进行提升,在空域上提升细节清晰度、色彩丰富度等。

最后,根据视频分析以及预编码的结果,智能编码模块自适应调整视频输出码率以及各种编码参数,并结合ROI(感兴趣区域)编码、场景自适应编码,在减小输出视频文件大小、降低视频传输成本的同时,保证视频的主观质量不受影响,实现最佳的画面效果。

▲修复前后的《雁荡山》戏剧影像资料(图源:腾讯)

在这四个模块中,每个算法都由腾讯云多媒体实验室自研自发,实现了优质的划痕修复和“超分辨率”,在放大视频分辨率时明显提升细节清晰度,同时通过GAN(生成对抗网络)生成一些细节。

二、3D老师打破时空壁垒,传统戏曲“活”起来了

除了AI修复影像资料外,本次直播另一项引人注目的演示——6DoF视频,也叫体积视频。

6DoF是指6自由度视频技术,不同于传统平面视频只能看固定视角画面、VR360视频以用户为中心看360度场景,6DoF在360度基础上增加位移,用户可以在观看画面中自由行走,选择自己的视角进行观看。

对戏曲行业来说,基于6DoF技术录制专业戏曲演员的经典程式,能为戏曲教学、研究等呈现立体、多维的细节。在“抖水袖”和“卧鱼”视频中,6DoF技术展现了演员手腕转动、眼波流转等十分微小的动作和情绪。

▲6DoF视频演示“抖水袖”(图源:腾讯)

在技术层面,6DoF技术主要面临的难点包括数据量大、计算量大、下载时间长、无现成文件标准、终端应用受限等。

体积视频每一帧都是一个3D模型,数据量大带来传输困难,同时3D模型数据编码压缩、解码渲染计算量大,需要终端具有较好的性能进行播放渲染。不同于普通视频能够边下边播,传统体积视频文件需全部下载完成才能播放,下载耗时长。此外,体积视频没有现成的文件标准,无法使用现有的视频基础设施,在视频传输、播放等应用生态受限。

▲6DoF视频演示“卧鱼”(图源:腾讯)

针对这些痛点,腾讯多媒体实验室6DoF视频技术解决方案分为三大模块。

首先是数据压缩。团队采用自研新一代3D mesh编解码器,在保持模型细节质量的前提下,大幅度减少模型表达所需要的面片数量,从而有效降低存储和传输动态高质量3D模型所需要的带宽,对比传统方案降低50%以上数据量。

针对Texture纹理数据,团队采用实验室自研编码器,分析纹理数据在时域和空间相关性,同时结合场景自适应编码,进一步提升压缩效率,减少数据量。整体实现多维数据25-50倍高压缩比,从根源上解决多维数据数据量大的问题。
其次是数据封装。针对现有体积视频文件无统一标准、需整体下载完才能播放等难点,实验室研发了mesh数据和纹理数据融合方案,采用流媒体格式标准,能够复用现有视频基础设施,实现渐进式文件加载,从而实现边下载边播放。

最后是播放渲染。在播放端,团队通过自研高效解码渲染算法,实现支持多模型、多材质和物理渲染,同时支持4K/8K超高清纹理图,满足对图形质量有更高要求的应用场景。在播放能力上,突破APP限制,实现轻量化网页端播放支持,同时实现包括手机、头显、PC等全终端播放支持。

结语:数字技术助力传统文化走向年轻观众

在采访过程中,中国艺术研究院戏曲研究所所长王馗屡次提到“年轻观众”。长期以来,戏曲界一直把争取年轻观众当作很重要的发展的目标。因为有了年轻的观众,一代代的传承才有真正生态的空间。
如今在数字技术的加持下,戏曲的生态空间远远超过了局限于具体的区域、地方的限制,变得更加的宽广。科技手段在戏曲的教育、传承、表演、推广等多个方面是起着非常重要的作用,介入到戏曲传承发展的各个节点。

未来,我们希望能看到更多新兴技术应用在戏曲及更多传统文化当中,并推动传统文化面向大众层面的创新传播,拉近其与当代年轻人的距离。

Originally published on sohu.com

Right Menu Icon
Send this to a friend