智元发布WITA-Omni具身全模态大模型,支持触觉输入与动作输出,响应最快400毫秒

智元机器人于2026年11月10日正式发布WITA-Omni(硅光动语全模态大模型),宣称是行业首个具身全模态端到端交互大模型。该模型基于机器人本体感知数据训练,新增触觉、本体状态等输入通道,以及动作...

人工智能 阅读量: 1.9万

2026年11月10日,智元机器人正式发布WITA-Omni(硅光动语全模态大模型),官方称其为“行业首个具身全模态端到端交互大模型”。这一发布标志着具身智能在人机交互层面迈入新阶段——机器人不再仅依赖音视频信号理解人类意图,而是通过融合多模态本体感知数据,构建真正面向物理世界的“交互大脑”。

与当前主流大模型主要处理语音、图像等外部输入不同,WITA-Omni的核心突破在于将机器人自身的传感器数据深度纳入训练体系。除常规音视频输入外,模型新增触觉反馈、关节角度、力矩、加速度计等本体状态信息作为输入源;输出端则扩展至机械臂动作规划、面部表情参数化控制、躯干姿态调整及语音语调生成等多个维度。这意味着机器人在抓取物体时能感知压力变化,在行走中可判断平衡状态,并据此动态调整交互策略。

在交互效率方面,WITA-Omni采用流式全双工(streaming full-duplex)架构,实现“边听、边思考、边回应、边行动、边做表情”的并行处理流程,彻底打破传统串行交互中的等待延迟。根据官方测试数据,其端到端响应时间最快可达约400毫秒,平均约600毫秒,较业内同类系统快近3倍。这一性能提升对实时性要求高的服务场景至关重要——例如在展会接待中,机器人可在用户话音未落时即启动手势回应或转向动作,显著增强交互流畅度。

尤为关键的是,WITA-Omni实现了全模态拒识(rejection)能力。系统综合分析对话朝向、视频画面、音频频谱、声纹特征、唇部运动、身体姿态、语义内容及上下文历史等多维信号,自主判断当前发言是否指向自身。在多人围谈、背景广播或环境嘈杂等干扰场景下,误触发率大幅降低,使机器人真正具备“看场合说话”的认知能力,无需依赖固定唤醒词即可进入自然对话模式。

语言能力方面,模型支持上百种语言与方言的免切换自由交流,并依托全双工架构实现流式同声传译与双向互译。例如,当一名普通话用户与一位粤语使用者交谈时,机器人可同步将双方语音实时转译为对方语言,并以自然语调输出,过程中不中断对话节奏。该能力已在部分国际展会预演中验证,适用于跨国企业展厅、机场导览等多语种高频交互场景。

情感表达是WITA-Omni另一项重点强化方向。通过面部微表情驱动模块、语音情感合成器与肢体动作协调算法的联合优化,机器人可呈现开心、惊讶、悲伤、激动、自信、认真、满意乃至痛哭等数十种情绪状态,并支持强度分级调节。例如,“开心”情绪可表现为嘴角轻微上扬的浅笑,也可升级为头部微仰、眼睑收缩、手臂轻抬的开怀大笑;“认真”则体现为眉毛微蹙、目光聚焦、身体前倾的姿态组合。这种细粒度的情绪建模,使交互更具拟人温度,避免机械感带来的疏离体验。

除听、说、看、动外,WITA-Omni还集成实时可视化能力。当解释复杂产品原理或科普知识时,模型可自主决策将关键信息以图形、图表或动画形式投射至机器人面部显示屏,实现“口述+图示”协同传达。例如向儿童讲解太阳能电池工作原理时,屏幕同步显示光子激发电子的动态示意;在工业展台介绍设备参数时,则以层级结构图清晰呈现技术指标。该功能有效弥补纯语音表达的信息密度短板。

AGIBOT机器人在户外与两位女性用户互动,挥手致意

更进一步,WITA-Omni赋予机器人主动交互意识。系统持续监测环境变化与用户行为状态(如靠近、驻足、点赞手势、挥手告别等),结合上下文推理,在适当时机发起互动:检测到贵宾入场时主动迎上前握手致意;识别用户竖起大拇指后即时回应微笑与点头;察觉用户转身离开时迅速挥手作别。这种“有小心思”的行为逻辑,源于对长期交互数据的强化学习建模,而非预设脚本。

值得注意的是,WITA-Omni并非首次亮相。今年7月,其Preview版本已在DailyOmni全模态理解榜单中以85.21分综合成绩登顶,超越通义千问、Google Gemini、字节豆包及英伟达相关模型,并在八项细分指标中六项位列第一。此次正式版发布,意味着该模型已完成从实验室评估到工程化落地的关键跃迁。

从技术路径看,WITA-Omni代表了具身智能发展的一个重要分支:不再将大模型视为独立“大脑”,而是将其深度耦合于机器人本体的感知-决策-执行闭环中。相比单纯在云端部署语言模型再下发指令的方案,该架构减少了通信延迟与信息失真,提升了物理交互的可靠性与适应性。

AGIBOT机器人在仓储环境中进行物料搬运作业

行业观察指出,当前商用服务机器人仍普遍受限于“单点智能”——语音识别准确但无法理解肢体语言,视觉识别精准却缺乏动作反馈能力。WITA-Omni试图弥合这一断层,为展会导览、商场导购、医院陪护、教育陪伴等场景提供更连贯、更自然的交互体验基础。

不过,实际落地仍面临挑战。多模态数据同步采集与标注成本高昂;触觉等新型传感器的精度与鲁棒性尚待提升;主动交互行为若缺乏明确边界,可能引发用户隐私或安全顾虑。智元方面表示,后续将开放部分API接口供开发者接入,并联合硬件厂商推进标准化传感器套件落地。

随着具身智能从“能动”走向“会想”,WITA-Omni的发布为行业提供了一个具象化的技术参照系。它未必是终极答案,但确实在交互完整性、响应实时性与行为自主性三个维度上,树立了新的阶段性标杆。