日前, 一场别开生面的元宇宙艺术盛宴在中央美术学院亮相。戴上 VR 设备, 眼前的油画突然「立体」起来, 人物仿佛走出画布, 背景的山水也有了真实的空间层次。
在这场名为「逐光而行」的全球首 hi 个应用 AI+VR 的虚拟毕业展中, 中央美术学院携手火山引擎、PICO, 通过 AI 技术联手打造了一个会「动」的艺术世界, 让毕业作品在数字空间里绽放出别样光彩。
火山引擎三维视频负责人焦少慧表示, 通过运用理解模型对美院同艺术作品的视觉画面、文本描述以及空间等深度信息进行分析、二次创作, 让观众以更加立体、身临其境地观看毕业展品。
//从2D到3D, 让「跃然纸上」成为现实
在传统的画展当中, 观众只能盯着平面的静态画布充分发挥自己的空间想象, 不过在这次的虚拟展览当中, 火山引擎通过创新性的二维图片转空间照片 (2D to 3D Spatial Photo) 算法方案,以及双目立体视频的方式让平面艺术获得了立体新生。
&· 摄影作品
&· 2D 转 3D 空间照片
在中央美院毕业展的实际应用中, 单目深度估计、主体分割、图像填充网络和视差映射渲染机制等核心模块协同工作, 所生成的空间照片实现了从静态画面到三维空间的有效转换, 为观众带来强烈的空间临场感和沉浸式艺术感受, 拓展了艺术作品数字化展示和传播的新可能。
传统依赖单目深度估计或稀疏点云重建的通用算法, 在处理艺术内容时, 很容易出现几何失真、结构不清或风格偏离等问题, 无法满足艺术品高保真还原的需求。
针对这一痛点, 火山引擎设计了基于「空间分层+智能填充」的技术框架, 先分析各个元素的前后层次, 再为被挡住的部分「补画」, 严格遵循原作的笔触、色彩风格等艺术特征, 确保填充区域与原作无缝融合。
最后, 通过精确的视差映射渲染机制, 将处理后的分层内容合成为具有真实空间感的三维呈现。
//微动视频, 为静态艺术注入生命律动
如果说 2D 转 3D 让画面有了空间感, 那么「微动视频」技术则给艺术作品注入了时间维度。
&· 艺术作品
通用的图生视频算法, 对艺术画的特殊风格和情感传达理解有限, 生成的动态效果模式化, 缺乏与艺术画本身的深度融合。
火山引擎所提供的解决方案, 采用新型风格解析再融合的视频生成技术框架, 引入风格解析模块提取艺术风格锚点, 通过「更懂」艺术的风格条件注入, 实现艺术风格在视频序列中的有效渗透, 解决了通用算法中「首帧风格强烈、后续帧风格衰减」的问题, 提升了艺术风格一致性。
该算法针对艺术画数据集专项训练, 通过多模态特征融合与风格解析模块, 生成时序连贯且风格统一的动态序列, 完成对艺术作品时空维度的二次创作。
&· //三维生成与重建, 构建虚实交融的艺术宇宙
除了平面作品, 雕塑、装置等立体艺术品在虚拟展中也有了新的打开方式。通过火山引擎自研的 3D 生成大模型 Beaver3D, 实现了雕塑、装置等立体艺术作品的数字化展示, 在虚拟与现实之间构建了全新的艺术表达维度。
该模型支持用户通过文本、图像、点云等多种模态输入条件, 生成具备复杂细节和精准拓扑结构的高保真几何模型, 适配多种网格类型, 还支持 4K 高清纹理和 PBR 材质生成, 能够精准还原金属雕塑的锈蚀痕迹、木雕作品的年轮细节以及装置艺术的光影效果。
Beaver3D - 几何生成框架图
Beaver3D - 纹理生成框架图
此外, 三维重建技术则解决了静态艺术作品数字化存档与展示中空间信息割裂的问题。火山引擎多媒体实验室使用几何重建大模型, 仅需普通相机拍摄的几张多角度照片, 就能通过深度学习算法还原物体的几何结构、表面材质与空间光影。
与传统 3D 重建技术不同, 该技术采用轻量化的前馈方案, 结合 Transformer 架构和大规模 3D 素材与场景数据训练, 具备强大的泛化能力, 能高精度、高效率地完成对各种材质和细节的艺术品重建, 实现从平面记录到立体复活的跨越。
本次中央美术学院「逐光而行」虚拟毕业展, 不仅是科技与艺术深度融合的典范, 更是一次面向未来的展览模式革命。它借助 AI 与 VR 的强大力量, 不仅完整呈现了毕业生们的艺术才华, 更拓展了艺术表达的边界。
未来火山引擎还将继续深度挖掘艺术与科技的融合, 让科技成为艺术表达的「延伸画笔」, 推动更多虚实融合的创新实践落地。
来源：互联网