单卡A6000跑Qwen基线需隔离目录与配置 避免结果混杂

在单张RTX A6000（48GB GDDR6）上构建Qwen-Drive推理基线时，研究者揭示关键实践陷阱：官方批处理脚本默认依据`predictions.jsonl`中已存在token判断任务完成状态，不校验权重版本、推理模式或随机种子。若变更配置后复用同一输出目录，新预测可能被跳过，导致SFT与RL专家等不同模式结果隐性叠加，使总耗时、显存等指标失去可比性。例如首次运行SFT模式完成场景A、B，二次改用RL模式仍用原目录，脚本仅对新增场景C执行预测，输出文件混合三行结果但来源混杂。为解决该问题，研究者提出四步基线构建规范：1）配置固化——生成含代码commit哈希（如28091c15）、权重revision（如28484089）、关键依赖版本的摘要，并据此命名独立输出目录；2）目录隔离——严禁跨配置复用目录；3）日志留痕——保留终端日志、输入清单、新增token列表及配置快照；4）禁用隐式跳过——正式实验避免依赖`--resume`，必要时显式启用`--no-resume`仅作临时测试。实测表明，RTX A6000可用性不仅取决于标称显存，还受FlashAttention等算子兼容性、CUDA驱动及系统内存调度影响；SFT与RL专家虽互斥，但推理阶段计算图与激活张量规模差异显著，未隔离配置的显存对比易致结论偏差。该问题具行业共性，凸显在有限算力下建立“配置即身份、目录即证据”工程纪律的必要性。