小米开源0.8B参数OCR模型Xiaomi-OCR-0,支持文档解析、信息抽取与视觉问答
小米正式开源轻量级文档理解模型Xiaomi-OCR-0,参数量仅0.8B,集成文档解析、关键信息抽取与OCR视觉问答三大能力,在多项基准测试中表现优异,已落地手机与小爱同学场景。
10月31日,小米技术团队宣布开源轻量级多模态文档理解模型Xiaomi-OCR-0。该模型参数规模为0.8B(8亿),基于Qwen3.5-0.8B-Base架构构建,训练数据涵盖约1.7亿条高质量OCR与文档理解样本。其核心定位并非传统光学字符识别(OCR)的“文字转文本”,而是向“文档智能理解”跃迁——在保持极低参数量的同时,实现结构化还原、字段提取与语义推理三重能力整合。
与主流OCR系统聚焦于图像到文本的单向映射不同,Xiaomi-OCR-0强调对文档内容的深层结构感知与语义建模。具体而言,其三大能力覆盖了从基础识别到高阶应用的完整链条:
第一项是文档解析。模型可准确识别并还原包含正文段落、嵌套表格、数学公式等复杂元素的文档布局,按自然阅读顺序生成结构化输出,支持Markdown与LaTeX格式导出。这意味着用户上传一份扫描版PDF或照片截图后,系统不仅能“看到字”,还能“理清逻辑”——例如将财务报表中的跨页合并表格自动拼接为完整结构,或将学术论文中的公式块正确归位。
第二项是关键信息抽取。针对发票、收据、身份证、银行卡及各类业务表单,模型可直接定位并提取指定字段(如金额、日期、姓名、证件号),输出标准JSON格式数据。这一能力跳过了传统OCR+规则模板的两步流程,实现端到端结构化生成,显著降低下游开发成本。
第三项是OCR视觉问答(OCR-VQA)。这是当前文档AI的前沿方向:模型不仅读取文本,还能围绕图表、表格内容进行信息检索、数值计算与语义推理。例如,当用户提供一张含折线图的财报截图并提问“2023年Q2营收环比增长多少?”,模型可定位图中对应数据点,执行减法与百分比运算后给出答案,而非仅返回原始坐标值。
性能方面,小米公布了该模型在多个权威基准上的实测结果。在Real5-OmniDocBench测试中,Xiaomi-OCR-0取得95.24分,位列所有参评模型第一;在OmniDocBench v1.6综合评测中得分96.83,总榜排名第二,但在1B参数以下模型中排名第一。尤为值得注意的是,在五项主流OCR-VQA基准测试中,其平均得分为83.2分,超越部分参数规模更大的竞品,包括8B参数的MiniCPM-V-4.5。
这一表现反映出轻量化模型在特定任务上的高效性。近年来,随着大模型推理成本上升,业界对“小而精”的专用模型需求日益明确。Xiaomi-OCR-0的0.8B参数量使其可在中端手机端本地部署,或在边缘设备上快速响应,避免依赖云端调用延迟与隐私风险。对比同类开源方案,如PaddleOCR侧重纯文字识别、LayoutLM系列偏重布局建模但参数量较大(LayoutLMv3-base约110M,large版超300M),Xiaomi-OCR-0在参数效率与功能广度之间取得了较优平衡。
目前,该模型相关技术已集成至小米手机与超级小爱语音助手的实际场景中。典型用例包括:自动提取外卖订单中的取餐码、扫描账单后一键生成记账条目、识别身份证/驾驶证信息用于线上认证、以及根据会议纪要图片自动生成日程提醒。这些功能无需用户手动复制粘贴,大幅缩短信息处理链路。
开源层面,小米同步开放了模型权重、推理代码、浏览器交互式Demo、MCP服务接口及Agent Skill工具包,便于开发者快速接入现有工作流。其中MCP(Model-as-a-Service Protocol)为小米自研的轻量级模型服务协议,支持低延迟调用;Agent Skill工具包则提供预封装的功能模块,可直接嵌入RAG系统或智能体框架中,降低集成门槛。
从行业视角看,文档理解正成为AI落地的关键突破口。据IDC预测,2025年全球企业内容智能化市场将达180亿美元,其中文档AI占比超四成。过去十年,OCR技术主要服务于银行、政务等高合规场景;如今,随着多模态大模型进步,通用型文档理解能力正快速下沉至消费级终端与中小企业SaaS产品中。
小米此次开源0.8B OCR模型,既是对自身AI能力的阶段性总结,也意在推动轻量级文档智能生态建设。相比动辄数十亿参数的通用大模型,此类专用小模型更易适配资源受限环境,且训练与微调成本更低,适合垂直场景快速迭代。尤其在国产替代加速背景下,具备中文文档强适应性的开源模型,对金融、教育、医疗等行业的数字化转型具有现实价值。
值得指出的是,Xiaomi-OCR-0并未采用纯端到端训练路径,而是依托Qwen3.5-0.8B-Base作为语言基座,结合OCR专用数据进行指令微调与视觉对齐。这种“基座+领域适配”的策略,降低了从零训练的成本,也为后续扩展(如增加手写体识别、多语言支持)预留了接口空间。
开源地址已公开,社区可直接下载模型权重并运行本地推理。对于希望构建自有文档处理流水线的企业或开发者而言,该模型提供了一个高性价比起点:在保证精度的前提下,显著压缩部署资源需求。
未来,随着更多高质量中文文档数据集释放,以及视觉-语言对齐技术持续优化,轻量级文档理解模型有望进一步缩小与大型模型的性能差距。而小米此次动作,或将引发新一轮对“小模型大能力”路径的关注与实践。
