数字活化百年古戏楼，火山引擎打造「虚拟直播间」

10月15日,火山引擎在视频云大会上发布了基于历史古建三维实景重建的「虚拟直播间」场景。采用AI生成3D内容和大场景重建方案,火山引擎视频云团队为山西高平金代二郎庙戏台和北京正乙祠戏楼两座百年建筑生成3D数字资产,并以「虚拟直播间」的形式应用于抖音的戏曲直播场景,让古建筑在现代人的生活方式中焕发新生,同时助力戏曲等非遗的传承。

火山引擎视频云负责人Yongyuan 介绍,「虚拟直播间」是火山引擎在公益助力文化数字化方面的一项重要探索。他表示:“随着AI视频时代的到来,用户对沉浸式体验需求不断加强,如何让历史古建的数字资产真正地融入现代人的日常‘活’起来,也对技术团队提出了考验。”

据了解,「虚拟直播间」采用了将3DGS先进技术(一种用于三维场景表示和渲染的先进技术)与自研大场景建模技术相结合的方式,实现了对真实场景的高质量3D几何构建与外观重建渲染。该方案不仅实现了优质的视觉效果,还可以接入美术管线进行编辑,实现复杂的光效、阴影渲染,让直播表演更具真实感,带给观众更加沉浸式的体验。

图说:火山引擎视频云负责人Yongyuan在大会发布「虚拟直播间」

现存最早古戏台,在抖音直播间焕发新生

位于山西高平市寺庄镇王报村二郎庙内的二郎庙戏台是我国现存时代最早、木构特征及纪年最确切的神庙戏台。该戏台建于金大定二十三年(1183年),是国务院公布的全国重点文物保护单位。

作为「虚拟直播间」的*场景,这座距今800多年的露天戏台,刻兽纹路和力士雕像已暗淡模糊。火山引擎多媒体实验室团队采用基于视觉的方式对文物进行三维重建,具有采集效率高、采集成本低、精度上限高等优点,同时避免了高精度激光扫描设备对古迹带来不必要的损害。

为了适配手机屏幕细节呈现难,技术团队还借助AIGC的能力,为戏台生成了“守旧”、石狮子等装饰元素和春、夏、秋、冬四季的不同效果,让场景更加丰富。

据介绍,火山引擎多媒体实验室团队的AIG3D(AI生成3D)方案基于大模型强大的生成能力,采用创新的图生3D模式:仅需上传3D内容参考图,系统就会自动生成关键视角和稀疏视角图像,再将其输入到3D重建大模型中,能够快速精准建模,建模时间缩短至以分钟为单位。

「虚拟直播间」的另一个场景北京正乙祠戏楼始建于清康熙6年,是中国历史上第 一座木制结构的室内剧场,被誉为“中国戏楼活化石”。与二郎庙戏台稍显粗犷的风格相比,正乙祠戏楼的构造布局更为复杂精巧,讲求光影明暗搭配等舞台细节的美感。

在三维重建时,正乙祠戏楼负责人张鹏希望火山引擎技术团队能够还原真实剧场演出的美感,并通过技术手段为虚拟场景添加一些现实中难以呈现的效果。

图说:还原演出光效的正乙祠「虚拟直播间」场景

对此,技术团队给正乙祠的「虚拟直播间」场景接入了美术管线进行编辑,更大限度地还原了舞台演出时复杂的光效,并对戏台二层的铜锣、舞台背景的金箔添加了色彩渲染,这也呼应了这座戏楼的历史——曾是供奉财神赵公明的庙宇,让这座百年戏楼在手机屏幕里呈现出美轮美奂的效果。

助力文化传承,让青年戏曲演员登上古老的“新”舞台

从2024年5月起,「虚拟直播间」陆续邀请了抖音上多位京剧主播进行体验测试,这其中既包括国家二级演员,也包括仍在戏曲学院读书的00后大学生。

图说:抖音京剧主播使用「虚拟直播间」开播

北京京剧院老生演员、国家二级演员王宁是「虚拟直播间」的首位使用主播,他表示,作为专业演员,日常只能在业余时间直播,受成本和场地限制,很难时常更换直播间场景,“虚拟直播间让我们有了更多选择。”他说。

火山引擎的实时高精度抠图技术方案,能够让主播无需绿幕背景、在相对日常的环境下使用虚拟直播间,技术团队还根据主播的反馈,自研了智能运镜算法。在直播中开启后,能够配合主播的移动产生专业的运镜效果。同时,还生成了京剧里常见的道具“一桌二椅”,主播只要在真实空间里坐在与屏幕中虚拟桌椅重合的位置,就能在直播中呈现出端坐在京剧桌椅旁(上)的效果。

在使用正乙祠场景的一次直播中,王宁收获了京剧直播里比较少见的“嘉年华”。在他看来,正乙祠戏楼见证了京剧表演艺术从诞生、发展到辉煌的整个历程,从程长庚到梅兰芳,众多梨园界前辈都曾在此登台献艺,这次经历令他印象深刻。

“现代戏曲主播站在虚拟古戏台上表演,观众既可回望古代建筑之美,又能品鉴主播们典雅的曲词、婉转的行腔,足不出户穿越时空,更加生动直观地了解文化遗产的历史和价值。”Yongyuan这样阐释项目的初衷。

“原汁原味的古戏楼场景,不会让观众产生审美疲劳,还能够‘触摸’到历史痕迹,是一件非常有意义事情。”王宁说。