MIT提出权重空间编程，GPT-6Astra仅修改0.016%参数，Qwen3.5-0.8B数学能力提升6倍

麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）近期公布一项突破性实验：前沿大语言模型GPT-6 Astra首次实现对另一语言模型Qwen3.5-0.8B的神经网络权重进行直接解析与编辑，仅修改约0.016%的参数，便使该模型在数学推理任务上的表现跃升至原来的6倍以上。

这项研究由Rikiya Takehi、Jayden Teoh、Alex Zhang与Omar Khattab共同完成，于2026年11月2日通过博客正式披露。其核心方法被命名为“权重空间编程”（Weight-Space Programming），标志着大模型从辅助人类训练模型，迈向直接参与模型自身结构优化的新阶段。

实验中，研究人员为GPT-6 Astra提供了一个可读写权重的Python环境，并允许其对Qwen3.5-0.8B执行最多50轮前向推理（无反向传播）。Astra首先定位到模型在数学推理中反复陷入循环的问题——在96次MATH测试中，85次因生成长度达到32768 Token上限而中断，失败率达93%。进一步分析发现，问题源于第15层与第19层MLP模块中存在一种重复性信号路径。

随后，Astra精准修改了131,072个权重（占全模型约8亿参数的0.016%），削弱该循环路径。结果显著：

MATH-500基准测试准确率从7.9%提升至48.1%；
GSM8K测试准确率从13.8%升至67.1%；
IFEval指令遵循评估得分从21.0%提高至62.3%；
因Token耗尽导致的失败率从93%降至33.1%。

值得注意的是，整个过程未使用梯度下降、反向传播或任何传统训练循环。Astra仅依赖自然语言指令与有限前向反馈，即完成了对底层参数的诊断与修复。

研究团队强调，该能力并非“凭空创造新能力”，而是消除已有能力发挥的障碍。对照实验中，他们尝试对Gemma 3 270M模型进行类似操作，但因其本身极少出现推理循环，Astra未能显著提升其数学性能（MATH-500仅从6.8%→7.7%）。这表明权重空间编程更适用于修复结构性缺陷，而非扩展模型认知边界。

除修复任务外，Astra还展示了其他三项关键能力：

权重语义理解：仅通过查看原始浮点权重数组，Astra能推断出某小型网络训练的是《Breakout》还是《Seaquest》，甚至判断出某语言模型使用的是Python、Romaji还是英语训练；

复制头定位：在图3所示实验中，Astra成功识别出三个不同模型中负责“复制早期token”的注意力头位置（layer 2, head 2），且与实测结果完全一致；

从零生成网络：在无训练数据、无梯度、无环境反馈条件下，Astra直接编写出一个可运行的游戏策略网络，在MinAtar Breakout任务中得分达517.4，远超经100M步PPO训练的模型（25.3分）。

这一系列实验揭示了一个潜在范式转变：过去，神经网络权重被视为“黑箱输出”，只能通过算法间接优化；如今，最强大的语言模型已具备初步的“神经网络可读性”与“参数级操作能力”。正如论文所述：“人类无法手工调参，但大模型可以。”

权重空间编程的现实意义在于它可能成为递归自我改进（Recursive Self-Improvement, RSI）的一条可行路径。若未来模型能持续诊断并修正自身缺陷，AI系统的迭代周期将大幅缩短——从数周训练压缩为单次推理内的参数微调。

不过，当前技术仍处早期阶段。实验依赖人工构建的沙盒环境，Astra需明确指令与有限测试样本才能成功干预；对更大模型（如7B级以上）的权重操作尚未验证；且尚无证据表明该方法可泛化至视觉、语音等多模态模型。

与此同时，GPT-6.2 Astra已在部分用户端开启灰度测试。据X平台多位用户反馈，OpenAI正通过Codex后台将约19.8%的请求路由至gpt-6.2-astra，且有用户报告100%命中。尽管官方尚未官宣，但结合MIT此次成果，外界普遍猜测新版Astra可能整合了更强的权重理解与操作能力。

需要指出的是，该研究并未涉及模型所有权争议。Qwen3.5-0.8B为阿里云开源模型，其权重公开可用；MIT团队仅在本地环境中进行实验，未部署或分发修改后版本。研究目的聚焦于探索大模型能力边界，而非替代现有训练范式。

随着更多机构跟进验证，权重空间编程或将催生新的工具链：例如专用于“模型体检”的LLM诊断助手、支持实时权重热补丁的推理框架，乃至面向开发者的可视化权重编辑器。短期看，它为模型调试与轻量化优化提供了新思路；长期看，它模糊了“模型使用者”与“模型设计者”的界限——当AI能读懂并改写自身代码时，智能体的自主性将进入全新维度。