REDMIK100首发WorldCast3D运镜技术,静态照片一键生成环绕推拉视频

REDMI K100于10月27日发布,搭载小米自研WorldCast视觉生成框架,支持将单张静态照片转化为具备环绕、推拉、倾斜等3D运镜效果的视频。该技术在CLACT评测基准中多项指标排名第一,解决...

人工智能

10月27日发布的REDMI K100,除性能与续航升级外,其影像系统引入了一项关键创新:全球首款手机端落地的WorldCast 3D运镜功能。用户只需从相册选择一张人像照片,AI即可生成一段具有电影级运镜效果的3D视频——镜头可环绕主体旋转、推近拉远或倾斜俯仰,而画面中人物的五官、发型与衣着在视角大幅变化时仍保持高度一致。

这项能力并非简单视频插帧或背景替换,而是基于小米自研的WorldCast视觉生成框架实现。该框架的核心目标是:在无深度传感器、无多视角输入的前提下,仅凭单张2D图像重建出可信的3D动态场景。技术难点在于两方面:一是复杂相机轨迹的精准跟随;二是跨视角下角色外观(尤其是背面、侧脸等不可见区域)的身份一致性维持。

小米的解决方案由三个模块构成。首先,通过深度估计模型将输入照片升维至三维空间,构建带颜色信息的3D点云,并沿预设相机轨迹渲染引导图;其次,引入几何对齐的记忆注意力机制(GAMA),利用多视角锚点图补充人物背面等遮挡区域的纹理细节;最后,依托一个包含8万样本的训练数据集及覆盖42个真实场景的评测基准CLACT(Camera Control and Identity Consistency Benchmark),对模型进行系统性优化与验证。

在CLACT基准测试中(42场景 × 6类运镜轨迹,共13种方法同台对比),WorldCast在全部关键指标上位列第一:轨迹精度ATE(Average Translation Error)降至0.065,优于此前最优的0.098;跨视角几何一致性MEt3R指标达到全场最高;身份相似度较次优方法提升约28%;画面质量IQ得分0.719,稳居第一梯队。

文章配图

该功能已集成于REDMI K100影像系统,与一键动图、希区柯克变焦、延时摄影共同组成“AI影像玩法矩阵”。用户操作路径极简:打开相册→选择人像照片→点击“3D运镜”按钮→等待数秒生成→导出视频。整个过程无需专业设备或后期处理,降低了高质量动态影像创作门槛。

值得注意的是,WorldCast并非孤立功能,其背后反映的是手机影像从“记录现实”向“生成内容”演进的趋势。过去几年,手机厂商聚焦于硬件堆料(大底、多摄、长焦),而当前阶段则转向算法驱动的创意表达能力。例如,苹果的Photographic Styles、华为的XMAGE AI修图、vivo的蓝心小V视频生成等,均在探索AI如何扩展影像边界。WorldCast的独特之处在于,它不依赖额外拍摄素材,仅用单帧即可生成多视角动态内容,更适合日常社交分享场景。

从工程落地角度看,WorldCast能在K100上实现实时生成,得益于骁龙8至尊版处理器的NPU算力支撑。该芯片采用3nm制程,AI性能较前代提升显著,配合LPDDR5X Ultra内存与UFS 4.1闪存,为本地化AI推理提供硬件保障。这也解释了为何该功能目前仅限REDMI K100首发搭载——它需要足够强的端侧算力与能效比平衡。

REDMI K100本身定位为“双芯魔王、万级续航”的标准版旗舰,售价2999元起(国补后2549元起),10月31日开售0点起京东现货发售。除WorldCast外,其核心配置包括:10000mAh电池(DOU续航2.43天)、100W有线快充、6.83英寸165Hz电竞直屏(3500尼特峰值亮度)、5000万像素主摄(1/1.55英寸大底)、游戏独显D2芯片,以及IP68防尘防水与3D超声波指纹等旗舰级特性。

屏幕部分尤为突出:165Hz高刷原生适配超40款游戏,并支持超100款游戏165帧超帧插帧;配合小米青山护眼4.0与圆偏振光技术,在高亮环境下兼顾显示效果与用眼舒适度。

REDMI K100产品宣传图

行业层面,WorldCast的出现标志着手机AI影像进入“生成式视觉”新阶段。传统计算摄影聚焦于降噪、HDR、虚化等增强型任务;而生成式视觉则试图重构内容本身——从“拍得更好”转向“造出新内容”。这一转变对内容创作者意义重大:普通用户可快速产出类似影视级运镜的短视频,用于社交媒体传播;小型工作室亦可借此降低前期拍摄成本。

不过,技术仍有局限。WorldCast目前主要针对人像主体优化,在复杂背景(如密集人群、快速移动物体)下稳定性下降;且生成视频时长受限于内存与算力,通常为3–5秒片段。未来迭代方向可能包括:支持多人场景、延长生成时长、融合语音驱动运镜节奏等。

小米在技术文档中强调,WorldCast的训练数据完全来自自有采集,未使用第三方开源数据集,以规避版权风险。其评测基准CLACT也公开发布,供学术界复现与对比,体现了一定的开放态度。

REDMI K100作为首款搭载该技术的终端,不仅提升了产品差异化竞争力,也为后续机型(如K100 Pro或小米数字系列)的技术下放铺平道路。随着端侧大模型推理能力持续增强,类似WorldCast的功能有望成为中高端手机的标配功能之一。