AMD锐龙AIMax引领智能体PC发展，本地运行3000亿参数模型成现实
AMD通过推出搭载锐龙AI Max系列处理器的智能体PC，正在推动个人计算向更智能化方向演进。最新一代旗舰锐龙AI Max+ PRO 495已实现192GB统一...
#大模型推理
共 4 篇相关文章
曙光ParaStor接入Mooncake，商用分布式存储首入大模型推理核心
中科曙光旗下分布式存储产品ParaStor近日成为业界首家接入Mooncake社区的商用分布式存储，首次完成生产环境落地。该方案通过模块化改造提升容量弹性与稳定...
大模型推理加速三板斧，量化、投机采样与PD分离详解
随着大模型参数规模持续攀升，推理效率成为制约其大规模部署的关键瓶颈。本文深入解析了三种主流的推理加速技术：量化（Quantization）通过降低权重精度显著减...
大模型推理输出阶段详解，从Token到文本的完整流程
本文深入解析大模型推理过程中的输出阶段，从采样策略生成 Token 序列，到通过增量反分词和 SSE 流式传输最终转化为可读文本。结合实际案例与技术细节，揭示这...
