Google EmbeddingGemma 2 实现五模态统一嵌入 768维共享空间支持端侧部署

Google正式发布EmbeddingGemma 2，基于Gemma 4构建的开放权重多模态嵌入模型，首次实现文本、代码、图像、视频与音频五模态在统一768维向量空间中的语义对齐。模型采用模块化设计：271M参数双向Transformer主干、167M视觉编码器与305M音频编码器，总参数量按需可变（271M–744M），量化至int4后在Pixel 11 Pro上纯文本推理仅占191MB内存，全模态约560MB，满足消费级端侧部署需求。训练分三阶段：300B token文本预微调、2T token多模态蒸馏、600B token对比损失+Matryoshka正则联合优化；音频编码器全程冻结，视觉编码器解冻可使MMEB-v2总分从48.2升至52.3。核心创新为套娃表示学习（MRL），支持将768维嵌入截断至128/256维，100万向量存储从1.5GB降至250MB（压缩率83%），128维下文本任务保留90%质量，音视频约75%; 实测中代码检索MTEB(Code)达78.7（前代68.8），图像检索MIEB(lite)领先同类模型近8分；原生音频嵌入在MSEB基准得分69.5，显著优于ASR转写路线（57.6），验证“去ASR化”可行性。视频处理采用每秒一帧采样+时间戳标注, 视觉token预算影响显著：训练每图280 token最优，推理提至560 token可提升文档检索分（63.4→67.6）但降低视频任务表现。模型已开源并集成Ollama等框架，支持/dimensions参数动态指定输出维度，适用于本地RAG、私有知识库与隐私敏感智能体开发。