英伟达Lyra2.0开源,单张照片生成90米可交互3D世界,速度提升13倍

英伟达空间智能实验室发布Lyra 2.0框架,支持以单张静态图像为输入生成跨度约90米、支持主动视角探索的3D环境,并输出3D高斯泼溅与网格模型。该技术通过空间记忆机制解决“空间遗忘”与“时间漂移”问...

人工智能 阅读量: 1.84万

英伟达空间智能实验室近日正式开源其新一代3D生成框架Lyra 2.0,标志着“单图生成3D世界”技术从实验阶段迈向实用化门槛。该系统仅需一张普通静态照片作为输入,即可构建出跨度约90米、支持自由视角漫游的持久化三维环境,并最终导出为可用于实时渲染的3D高斯泼溅(3D Gaussian Splatting)与多边形网格模型。相关代码与预训练权重已同步开放至GitHub与Hugging Face平台,供研究者与开发者调用。

这一进展的核心价值在于解决了生成式3D建模长期存在的两大结构性难题:空间遗忘与时间漂移。

所谓“空间遗忘”,指当用户视角折返已探索区域时,模型常因缺乏记忆能力而重新生成结构不一致的场景——例如同一扇门在不同角度下呈现不同开合状态或材质;而“时间漂移”则表现为随着探索路径延长,几何形变与纹理误差持续累积,导致远处区域严重失真。Lyra 2.0引入了一种基于3D几何信息的空间记忆机制,使模型能在推理过程中动态维护已生成区域的拓扑与外观一致性。更关键的是,其训练策略采用“自纠错强化”范式:模型不仅学习真实数据,还被刻意暴露于自身早期生成的含瑕疵内容中,从而学会识别并修正偏差,而非被动放大错误。

性能优化方面,Lyra 2.0通过知识蒸馏技术压缩模型规模,将视频生成所需的去噪步数从35步大幅降至4步。实测数据显示,在单块NVIDIA GB200 GPU上生成80帧视频片段,完整版模型耗时约194秒; 轻量版仅需约15秒, 速度提升达13倍。这一效率跃升使得交互式3D内容生成真正具备工程落地可能。

当前版本聚焦于静态环境建模,尚不支持动态物体实时生成或全场景即时重建,但作为环境资产辅助工具,其生产力价值已十分显著。英伟达明确指出,Lyra 2.0的首要落地方向是机器人仿真训练:生成的3D场景可直接导入NVIDIA Isaac Sim等物理引擎,用于机器人感知、导航决策与行为策略的闭环训练,大幅降低对真实世界采集数据的依赖。例如,一个室内服务机器人可在由单张家庭照片生成的虚拟住宅中反复练习开门、避障与物品抓取任务,无需部署实体设备或人工标注。

值得注意的是,Lyra 2.0并非孤立技术,而是英伟达“空间智能”战略的关键一环。该战略旨在打通从2D视觉输入到3D可交互空间的端到端通路,为具身智能、数字孪生与AR/VR内容创作提供底层支撑。早在2026年4月,该项目已在内部完成初步验证;11月10日的开源发布恰逢SIGGRAPH Asia会议前夕,意在推动学术界与工业界协同迭代。

对比同期其他生成式AI进展,如OpenAI于同日发布的GPT Images 2.6(主打图像生成提速50%及原生GIF/SVG支持),Lyra 2.0的差异化优势在于其空间语义完整性与可交互性。前者仍属2D平面生成范畴,后者则直接产出具备深度、尺度与物理可探索性的3D结构。尽管二者目标场景不同——图像生成服务于创意设计与内容生产,而Lyra 2.0更偏向仿真与具身智能基础设施——但共同反映出生成式AI正从“像素级输出”加速转向“空间级理解”。

技术局限依然存在。目前系统对输入图像质量敏感,低分辨率或强遮挡场景易导致结构坍塌; 对复杂动态元素(如行人、车辆)缺乏建模能力;且生成范围虽达90米,但细节保真度随距离衰减明显。此外,开源模型权重虽可用,但完整训练流程涉及大量合成数据与计算资源,中小团队复现门槛仍较高。

将街道照片转化为Sim世界:Lyra 2.0工作流程示意

行业影响层面,Lyra 2.0的开源或将加速3D内容生产的范式转移。传统游戏与影视行业依赖专业建模师与激光扫描设备构建场景,周期长、成本高;而基于单图生成的自动化流程有望将环境资产制作周期压缩至分钟级。已有迹象表明,部分自动驾驶仿真公司正评估接入该框架,以快速构建城市街景变体库用于极端场景测试。

值得强调的是,该技术并未宣称“完全替代人工建模”,而是定位为高质量初稿生成器与仿真环境加速器。其真正价值在于降低3D内容创作的启动成本,让开发者能快速获得可交互原型,再结合人工精修实现最终交付。正如英伟达在技术文档中所言:“我们不是要取代艺术家,而是赋予他们更快的画布。”

随着更多研究者参与贡献与微调,Lyra 2.0的动态建模能力、跨模态对齐精度及硬件适配效率有望持续提升。在具身智能与空间计算成为下一代人机交互主战场的背景下,单图生成3D世界的技术成熟度,或将直接影响未来五年机器人、XR与数字孪生产业的发展节奏。