网通社科技快报
Raycast v2.11上线Dictate to AI功能 语音直连屏幕内容实现零操作AI交互
Raycast正式发布v2.11版本，核心更新为「Dictate to AI」功能：用户无需复制文本或截图，仅需语音指令（如“总结这份合同第三条”），系统即可自动识别当前激活窗口内容并送入AI处理，实现真正零操作的上下文感知交互。该功能基于2025年8月推出的Screen Awareness技术升级而来，底层实现语音识别与屏幕内容捕获模块协同工作，确保语义请求与视觉上下文精准对齐。官方演示中，用户在Safari打开技术文档后语音提问“用通俗语言解释这段代码”，AI即时返回解读，全程无选中或拖拽动作。
除主功能外，v2.11同步上线多项配套能力：Dictation AI扩展支持语音转写后润色与清晰度评估；Mac端新增菜单栏AI使用统计，可实时查看调用次数、耗时与token消耗；Contacts AI扩展允许语音操作通讯录（如“把张工邮箱改成zhang@company.com”）；免费用户笔记功能开放无限创建与图片插入；iOS端集成Raycast键盘，支持续写、改写与摘要生成；Windows版新增“发送选定元素”和“发送整个窗口”快捷命令提升灵活性。
技术层面，本次更新未依赖新型大模型，而是通过工程优化提升已有模型上下文利用效率，强调“在不增加认知负担前提下最大化信息价值”。所有屏幕数据仅在本地处理，不上传云端，用户可随时关闭Screen Awareness功能。相比微软Copilot+ PC聚焦系统级任务，Raycast优势在于跨应用兼容性——适配Figma、Notion、VS Code、Chrome等任意激活窗口。第三方开发者可通过开放API基于Screen Awareness开发插件，已有团队将其接入财务软件实现语音查询报销总额。
行业视角下，此举体现桌面AI助手从“通用问答”向“场景嵌入”演进，目标是成为操作系统层的“语义中间件”，跨越应用边界理解用户意图。尽管面临UI结构差异与隐私合规挑战，Raycast以扎实工程实践推动交互简化：一句语音，即可让AI精准切入问题核心。
除主功能外，v2.11同步上线多项配套能力：Dictation AI扩展支持语音转写后润色与清晰度评估；Mac端新增菜单栏AI使用统计，可实时查看调用次数、耗时与token消耗；Contacts AI扩展允许语音操作通讯录（如“把张工邮箱改成zhang@company.com”）；免费用户笔记功能开放无限创建与图片插入；iOS端集成Raycast键盘，支持续写、改写与摘要生成；Windows版新增“发送选定元素”和“发送整个窗口”快捷命令提升灵活性。
技术层面，本次更新未依赖新型大模型，而是通过工程优化提升已有模型上下文利用效率，强调“在不增加认知负担前提下最大化信息价值”。所有屏幕数据仅在本地处理，不上传云端，用户可随时关闭Screen Awareness功能。相比微软Copilot+ PC聚焦系统级任务，Raycast优势在于跨应用兼容性——适配Figma、Notion、VS Code、Chrome等任意激活窗口。第三方开发者可通过开放API基于Screen Awareness开发插件，已有团队将其接入财务软件实现语音查询报销总额。
行业视角下，此举体现桌面AI助手从“通用问答”向“场景嵌入”演进，目标是成为操作系统层的“语义中间件”，跨越应用边界理解用户意图。尽管面临UI结构差异与隐私合规挑战，Raycast以扎实工程实践推动交互简化：一句语音，即可让AI精准切入问题核心。