米哈游云栖大会展示千亿AI野心，从帕姆到游戏反哺AI
在云栖大会上，米哈游展示了其百亿级AI投入计划。通过《崩坏：星穹铁道》中的AI角色帕姆，米哈游不仅实现了角色的“活人感”，还探索了AI Gameplay等前沿方...
#vLLM
共 6 篇相关文章
AI-Infra-Guard实战，从基础设施到第三方Skill的安全扫描指南
本文详细介绍了腾讯朱雀实验室推出的AI-Infra-Guard（A.I.G）平台部署与使用方法，涵盖AI基础设施安全扫描、MCP Server及Agent Sk...
对话与向量模型融合下的vLLM推理优化实践
在自部署Deepseek v4 Flash推理服务中，针对对话模型与向量模型的不同特性，通过优化vLLM生产栈架构，采用前缀感知路由和KV缓存卸载策略，实现了推...
vLLM请求抢占机制详解，token预算与KV分配的深层冲突
本文深入解析了vLLM系统中请求抢占的核心机制，揭示了尽管token预算仍有余量，但KV缓存分配失败仍会导致请求被抢占的现象。通过具体算例和源码分析，文章展示了...
vLLM自托管调优，TTFT、KVCache等Prometheus指标深度解析
在大型语言模型（LLM）的自托管部署中，如何高效利用计算资源并优化推理性能是一个关键挑战。近日，Elastic 技术社区分享了一篇关于使用 Prometheus...
Netflix开源LLM服务平台，基于Triton与vLLM的统一推理架构
近日，流媒体巨头Netflix正式对外开源其内部开发的大型语言模型（LLM）服务平台，这一举措标志着企业在AI基础设施领域的又一次重要开放。根据官方披露，该平台...
