EdgeRock-4B开源，KVCache压缩99.1%，单卡512路长推理并发，推理长度不再受限内存

大语言模型推理正面临一个日益尖锐的矛盾：任务越复杂，上下文越长，显存压力越大。当Agent需连续调用工具数十轮、生成数万token时，传统Transformer架构中的KV Cache——即存储历史注意力键值对的缓存——成为性能瓶颈。以Qwen3.5-4B为例，每生成一个token需新增约32 KiB KV Cache，推理至256K token时单条序列占用高达8 GiB。这不仅限制单卡并发能力，更使端侧部署几乎不可能。

近期，岩山科技旗下岩芯矩阵联合香港科技大学、卡内基梅隆大学（CMU）发布并开源新模型EdgeRock-4B，提出一种突破性方案：KV Cache占用与上下文长度解耦。在256K token上下文下，其KV Cache稳定维持在72 MiB，相比原始Qwen3.5-4B模型减少99.1%。这意味着——推理再长，内存不涨。

该模型并非简单压缩单个token开销，而是重构了状态管理机制。不同于多头潜在注意力（MLA）或量化方法（如KIVI、TurboQuant）仅降低单位成本但总量仍随长度线性增长，EdgeRock采用一种新型有界状态表示，使缓存空间恒定；也区别于循环网络、状态空间模型（SSM）或滑动窗口等“有界状态模型”，后者虽内存固定，却普遍牺牲长程依赖能力，导致推理质量断崖式下降。

测试数据显示，EdgeRock-4B在单张NVIDIA Hopper架构80GB显卡上，可同时运行512路并发推理（每路输入32K + 输出32K），输出吞吐达12,124 tokens/s，是Qwen3.5-4B（批大小64，1,889 tokens/s）的6.42倍。这一能力直接源于KV Cache的极致压缩——显存不再被历史缓存挤占，剩余空间可全部用于提升并发规模。

更关键的是，性能未因内存压缩而受损。在AIME 2024–2026综合推理评测中，EdgeRock-4B平均一次通过率达82.9%；而当前主流有界状态模型中表现最佳者（14B参数量级）仅为18.8%。对比图显示，其得分甚至接近源模型Qwen3.5-4B的86.1%，远超RWKV、Phi-3、Falcon3-Mamba等同类架构。

技术实现上，EdgeRock-4B并未公开完整架构细节，但根据论文线索与开源代码结构，其核心在于动态稀疏激活与关键记忆保留机制：模型在长序列中自动识别并持久化高价值上下文片段（如指令、约束条件、关键实体），其余部分则通过轻量级预测重建，避免全量存储。这种“人类式选择性记忆”思路，与视觉Token处理中的SR-SWA（Selective Retention Sparse Window Attention）理念相通——后者在图像理解中通过聚焦关键区域降低视觉Token开销，而非无差别保留全部像素信息。

值得注意的是，该工作并非孤立突破。谷歌今年早些时候发表的论文曾指出KV Cache可压缩6倍以上，一度引发存储芯片厂商股价波动；而EdgeRock-4B将压缩比推至99%以上，标志着从“压缩”迈向“恒定占用”的范式跃迁。行业长期面临的“推理长度—显存成本”强耦合问题，首次出现可工程落地的解法。

开源方面，EdgeRock-4B的模型权重与推理代码已全面公开，支持纯文本与图文多模态推理场景。项目命名“EdgeRock”寓意其面向边缘计算的坚固可靠性，而“4B”指代参数量级，定位为高效能中小模型。岩山科技将其纳入“岩芯矩阵”产品线，意在构建适用于端云协同的长推理基础设施。

当前大模型应用正从“短提示响应”转向“长链推理”，包括代码生成、法律文书分析、科研文献综述、自主Agent决策等场景均依赖超长上下文。传统方案依赖昂贵多卡集群或牺牲推理深度，而EdgeRock-4B提供了一种单卡可行路径。例如，在本地部署中，一台配备80GB显存的工作站即可支撑数百用户同时进行万字级文档摘要或复杂对话，大幅降低服务门槛。

不过，该模型仍存在局限：目前仅验证至256K上下文，尚未公布百万级token测试结果；其训练数据与微调策略未完全披露，复现效果可能存在偏差；且在极低资源设备（如8GB显存消费级GPU）上的适配尚待优化。

从产业影响看，KV Cache的恒定化将重塑推理服务定价模型。云厂商过去按“上下文长度×请求量”计费，未来可能转向“并发路数×响应延迟”模式；端侧芯片设计亦需重新权衡NPU与DRAM带宽配比——当KV Cache不再是显存大户，更多资源可分配给计算单元或专用缓存。

OCR（Online Context Reasoning）作为新兴技术范式，强调模型在持续交互中动态维护推理状态。EdgeRock-4B可视为OCR 3.0时代的标志性成果：它不再将上下文视为线性累加的负担，而是作为可管理、可筛选、可压缩的认知资产。正如百度ERNIE团队在《Unlimited OCR Works 2》中所展望的，“从长视距到无限视距解析”，技术演进正指向真正无边界的智能推理。

目前，EdgeRock-4B已在Hugging Face与GitHub开源，社区已开始基于其构建Agent框架与垂直领域微调版本。随着更多开发者接入验证，该架构能否成为下一代长推理标准基座，将在接下来半年内见分晓。