VAST开源实时世界模型EdenLive,支持24FPS720P连续生成与多风格实时渲染
VAST团队开源实时生成式渲染模型EdenLive,可在单张RTX 5090上以超24 FPS生成720P画面,支持白模、录像等任意视觉参考输入,并实现写实、卡通、像素等多种风格实时切换;同步发布编程...
VAST近日正式开源其实时世界模型EdenLive,标志着生成式渲染技术从离线视频生成迈向长时交互场景的关键一步。该模型作为Project Eden系列的核心组件,聚焦于“边交互、边生成”的实时视觉输出能力,为游戏开发、动画预览与具身智能训练提供了新路径。
EdenLive的设计理念建立在明确的输入分工机制之上:参考视频负责提供场景结构、镜头运动与物体轨迹;目标首帧定义主体外观、材质与画风;文本提示词则补充风格细节,并可在交互过程中动态追加事件描述。这种解耦架构使模型无需依赖完整输入即可持续生成——玩家操作触发状态更新后,系统将新状态转化为灰盒画面与场景描述,交由EdenLive实时渲染出对应视觉结果。
与传统离线视频生成模型不同,EdenLive具备真正的“跟随能力”。例如,当角色在虚拟环境中移动时,模型能依据不断变化的参考画面持续输出连贯帧序列,而非等待整段输入完成后再批量生成。据团队披露,EdenLive 5B版本在单张消费级显卡RTX 5090上可稳定输出超过24 FPS的720P画面,并支持分钟级连续生成,满足基本游戏交互的实时性门槛。
在性能评估方面,团队基于Gemini-3.8-Flash对45个30秒长时案例进行两两盲评(每组交换顺序重复评分),计算Elo分数后发现:EdenLive 14B与5B版本在参考遵循、首帧一致性、物理合理性、画质及避免外观泄漏五个维度上均位列第一与第二。其中,14B模型在“参考遵循”项得分1704,显著高于AgentGarten约200分,显示出更强的结构保真能力。
除实时渲染外,VAST同步开源了面向编程智能体的工具EdenGolem(v0.1)。该工具接受自然语言玩法描述,自动分四阶段完成:玩法设计→场景搭建→交互逻辑实现→界面完善,最终输出可独立运行的3D灰盒游戏。目前支持解谜、射击、驾驶、冒险、竞技场与格斗等主流类型,为快速原型验证提供底层支撑。
值得注意的是,EdenLive的适用范围远超游戏制作。在动画预览环节,开发者可用白模、粗略2D草图或法线图视频作为参考,仅更换首帧与提示词,即可在同一运动轨迹下对比不同材质、光照与配色方案。镜头移开再返回时,场景结构保持原位,模型无需重新推断空间关系,确保长时一致性。
更进一步,该模型还可处理现实世界素材并实现跨模态转换。例如,一段真人演示“闪身步”的教学视频,在保留构图与运镜的前提下,可被重绘为动画风格人物动作——模型沿原视频的空间关系与时间轴逐帧生成,但彻底替换原始质感,避免简单复制。
这一能力在具身智能领域具有独特价值。机器人训练常面临“视角鸿沟”问题:人类示范视频中是手臂与五指操作,而机器人摄像头看到的是机械臂与夹爪,二者在外形、运动范围与遮挡模式上差异显著,导致直接用真人数据训练易出现分布偏移。通过EdenLive,可将真人手部动作视频中的肢体替换为机械结构,生成符合机器人感知视角的合成训练样本,有效缓解数据稀缺与域适配难题。
从技术路线看,EdenLive代表了生成式AI向“可控性”与“持续性”演进的重要尝试。过去多数视频生成模型受限于计算开销与记忆机制,难以支撑超过数秒的连贯输出;而EdenLive通过将结构信息外置给参考源,大幅降低模型需建模的复杂度,使其能在有限算力下维持长时间稳定生成。
行业层面,该开源项目可能重塑内容生产流程。传统游戏开发中,美术资源制作周期长、成本高,常成为迭代瓶颈;若能以低精度白模+AI实时渲染替代部分中间环节,将显著压缩原型验证周期。类似地,在影视动画领域,导演可通过粗略分镜快速获得多风格预览版本,提升前期决策效率。
不过,当前版本仍存在局限。例如,模型对极端物理交互(如高速碰撞、流体飞溅)的模拟尚不完善;在复杂遮挡场景下可能出现结构漂移;且对中文提示词的理解能力未在公开资料中说明。此外,虽宣称支持“任意视觉参考”,但实际效果高度依赖参考质量——模糊录像或严重失真的白模可能导致生成结果不稳定。
开源策略上,VAST选择将核心模型与配套工具一并释放,降低了使用门槛。社区可基于EdenLive构建定制化工作流,例如接入Unity或Unreal引擎作为上游交互系统,或与物理引擎联动实现更真实的动力学反馈。长远来看,这类实时生成模型若能与强化学习、仿真环境深度整合,有望成为下一代具身智能训练基础设施的一部分。
截至目前,EdenLive已开放模型权重、推理代码与示例脚本,开发者可基于消费级硬件快速部署测试。随着更多第三方应用接入与反馈积累,其在长时一致性与风格控制方面的表现有望进一步提升。
