StartLux开源决策模型推理引擎Prism，单卡推理提速最高5.3倍

近期，中国 AI 公司在推理系统层面持续深化开源布局。继 DeepSeek 于 10 月 20 日开源其推理框架 DeepInfer 后，StartLux 紧随其后宣布开源面向自家决策模型 StartLux-Decision 的专用推理引擎——Prism。这一动作标志着行业关注点正从模型架构本身，进一步延伸至推理执行层的精细化优化。

Prism 的核心目标是解决通用大语言模型推理框架（如 vLLM、SGLang）在处理结构化决策任务时的效率瓶颈。与生成式任务不同，决策模型通常只需基于输入材料，在有限候选选项（如 A/B/C）中输出概率分布，无需逐 Token 生成长文本。这种任务特性为专用优化提供了明确路径。

根据 StartLux 公布的实测数据，在单张 NVIDIA H200 GPU 上运行 StartLux-Decision v1.1（27B 参数），Prism 在多种测试场景下显著优于原 vLLM FP8 推理方案：

针对同一份材料连续回答三个问题，处理时间从 92.9 毫秒降至 17.4 毫秒，提速达 5.3 倍；
短问题场景下处理时间由 53.1 毫秒降至 19 毫秒，提速约 2.8 倍；
整体推理速度提升范围为 1.2 至 5.3 倍，具体取决于任务结构与批处理方式。

上述性能提升源于两项关键创新设计。

第一项是输出层计算范围收缩。以 StartLux-Decision 27B 模型为例，其词表规模约为 24.8 万个 Token，常规推理需通过 LM Head 为全部 Token 计算 Logits。但在决策任务中，若仅需比较 A、B、C 三个选项，完整词表计算即构成冗余。Prism 重构了最终输出流程：仍完整处理输入上下文，但仅针对有效候选 Token 计算对应分数，并在归一化后输出概率。该策略数学上等价于全词表打分后再截取子集，却大幅降低计算量。图1清晰展示了这一机制：通用引擎需为全部 248,320 个 Token 打分，而 Prism 仅聚焦 A–Z 中实际出现的候选（如 A、B、C），计算量压缩至约 0.01%。

第二项是多问题共享上下文的 Tree Attention 架构。当多个问题共享同一份背景材料（例如一份客户工单需同时判断责任团队、响应时限与严重等级），传统方案会将每个问题作为独立请求处理，导致重复读取材料、重复计算公共前缀。Prism 将此类任务组织为“森林”结构：system prompt 为树根，共享材料为树干，各问题分支独立处理。通过 Tree Attention，模型复用公共前缀的 KV Cache，仅对差异部分进行增量计算。图2直观呈现了该机制：左侧为通用引擎的重复调度（A 问出现 6 次，system prompt 被重复处理），右侧为 Prism 的森林结构——同一批请求中，A 的证据仅计算 1 次，C 的证据 0 次，系统提示仅 1 次，整体调度开销显著下降。

除性能外，Prism 还强调推理结果的确定性。StartLux 表示，在支持的配置下，相同输入请求无论并发量、批处理方式或 GPU 数量如何变化，均可获得逐位一致的输出概率。在覆盖 7 个评测集、总计 12,351 次决策的测试中，Prism 的平均准确率为 92.94%，与 BF16 原始精度下的 92.97% 基本持平，验证了其在加速的同时未牺牲模型能力。

此外，Prism 支持张量并行（TP）与数据并行（DP）的组合部署：TP 用于缩短单请求延迟，DP 用于提升整体吞吐，用户可根据实际需求灵活配置。

值得注意的是，Prism 的开源并非孤立事件。DeepSeek 同期开源的 DeepInfer 框架也体现了类似思路——将内部工程经验公开化，帮助第三方更高效地部署模型。二者共同反映出一个趋势：在模型开源已成常态的今天，推理系统的工程实现细节正成为差异化竞争力的关键。正如行业观察所指，许多第三方厂商虽能获取开源权重，却难以复现官方效果，症结往往在于推理调度、内存管理与硬件适配等“隐性知识”。此次 Prism 与 DeepInfer 的同步开源，实质是将这些“黑盒”经验透明化，降低部署门槛。

从技术路线看，Prism 的优化逻辑高度契合决策任务的本质特征：输入结构化、输出离散化、计算可复用。这与生成式模型追求高吞吐、低延迟的通用目标形成互补。未来，随着金融风控、法律判例辅助、医疗诊断建议等专业场景对决策模型需求增长，专用推理引擎有望成为细分赛道的标准组件。

目前，Prism 已支持 NVIDIA GPU 平台，并计划逐步扩展至其他硬件生态。其开源代码与文档已在 GitHub 发布，开发者可基于 StartLux-Decision 系列模型快速集成部署。

在算力成本高企的背景下，推理效率的提升直接转化为服务成本下降与响应体验改善。以单卡日均处理 10 万次决策请求估算，5.3 倍加速意味着同等算力下可支撑超 50 万次请求，或等效节省近 81% 的 GPU 使用时长。这一数值虽未如部分报道中“单卡日入 6000 元”般具象，但其工程价值已在实测数据中得到扎实验证。

需要说明的是，图3所示的 NVIDIA 与华为芯片对比图虽常用于讨论国产算力替代话题，但本次 Prism 开源并未涉及华为昇腾适配细节，该图仅作硬件生态背景示意，与 Prism 本身无直接技术关联，故未在正文核心段落引用。

总体而言，Prism 的发布标志着决策类 AI 应用进入“软硬协同优化”新阶段。当模型能力趋于收敛，推理系统的定制化能力将成为落地实效的决定性因素之一。