慧荣苟嘉章，AI存储核心竞争力在于服务而非技术
在近期GMIF行业群访中，慧荣科技总经理苟嘉章指出，AI存储的核心竞争力并非单纯的技术革新，而是围绕服务构建的完整解决方案。文章深入解析了慧荣如何通过KV Ca...
#KV cache
共 8 篇相关文章
曙光ParaStor接入Mooncake，商用分布式存储首入大模型推理核心
中科曙光旗下分布式存储产品ParaStor近日成为业界首家接入Mooncake社区的商用分布式存储，首次完成生产环境落地。该方案通过模块化改造提升容量弹性与稳定...
KVCache4bit量化落地，SGLang在Blackwell上实现1.78倍上下文与+78%解码
SGLang团队联合阿里云Qwen与NVIDIA，在Blackwell平台实现KV Cache从FP8到NVFP4（4bit浮点）的量化，显著提升长上下文处理能...
华为推出OceanStorM900AI记忆存储，KVCache从临时缓存到长期资产
随着AI Agent和代码生成等场景对长上下文需求激增，传统三级缓存体系面临容量与成本瓶颈。华为近日发布OceanStor M900 AI记忆存储，将KV Ca...
DeepSeekV4.1-Flash如何将KVCache压缩至890字节/token
DeepSeek 发布 V4.1-Flash 模型，通过架构优化和存储调度，将全局 KV 缓存从 3514 字节/token 压缩至 890 字节/token，...
vLLM自托管调优，TTFT、KVCache等Prometheus指标深度解析
在大型语言模型（LLM）的自托管部署中，如何高效利用计算资源并优化推理性能是一个关键挑战。近日，Elastic 技术社区分享了一篇关于使用 Prometheus...
AIAgent上下文工程优化，KVCache、记忆模块与长期记忆技术解析
在AI Agent的应用场景中，上下文工程的优化是提升其理解能力与交互质量的关键。某团队在客服Agent的实际运营中，曾因系统提示词未包含当前时间信息，导致账单...
Cloudflare推理优化实践，KV缓存量化+权重压缩提升41%吞吐量
在人工智能领域，大型语言模型（LLM）如Kimi K3和GLM凭借其强大的长上下文处理能力和混合专家（MoE）架构，成为当前最炙手可热的技术之一。然而，这些模型...
