阶跃星辰实现车端百万级大模型量产 联动手机AI硬件加速终端落地

QCon上海大会聚焦大模型终端落地实践，阶跃星辰AI终端解决方案架构师袁俊杰系统阐述从云端推理到百万级量产的工程路径。其团队已在汽车场景实现模型从0到100万台的量产部署，核心突破在于构建端云协同混合框架：高频离线任务由端侧轻量模型处理，复杂推理交由云端承接，并通过断网续连、联邦学习保障连续性与隐私。最具代表性的是下一代Realtime Voice Agent框架，采用端到端流式多模态架构，全链路延迟压缩至200ms以内，支持实时打断、多模态意图识别及工具调用能力，集成短期对话记忆、长期偏好记忆与跨设备场景记忆。在应用层面，大模型正成为汽车座舱的统一认知中枢，支持自然语言触发智驾动作；手机与IoT设备中，AI角色升级为个人Agent，可理解屏幕内容、自动执行跨应用操作。商业层面，2026年10月13日阶跃星辰发布STEPX Neo智能体手机，阿里千问同步推出AI眼镜与耳机，字节联合中兴的努比亚NaviX Ultra京东预约超36万台，腾讯WorkBuddy联名9款硬件。行业普遍面临硬件出货规模小、任务执行效率低等挑战，但通过脱敏数据回流与半监督评测体系，模型迭代周期已从月级缩短至周级。海康威视则在工业终端落地超千款大模型产品，覆盖人车行为识别、设备监测等领域，印证终端落地正从消费电子向行业场景双线拓展。