11 月 2 日，麻省理工學院電腦科學與人工智能實驗室（MIT CSAIL）四位研究者——Rikiya Takehi、Jayden Teoh、Alex Zhang 與 Omar Khattab——發表一篇題為〈Sparks of Weight-Space Programming〉的博客文章，示範一件過去被認為不可能的事：讓一個通用大模型直接讀寫另一個神經網絡的權重，不經梯度下降、不跑訓練迴圈。
最受注目的實驗是 Qwen3.5-0.8B。這個小模型有一個已知的毛病：推理時易陷入重複迴圈， MATH-500 測試中，93% 答案用盡 32,768 個 token 仍未收尾，得分只有 7.9%。GPT-6 Astra 讀取權重後，直接判斷迴圈是第 15 與 19 層的 MLP 寫出的一個方向，並在每層的 64 個輸出欄中減去該方向——改動 131,072 個權重，相當於全模型 8 億個參數的 0.016%。結果 MATH-500 得分升至 48.1%，GSM8K 由 13.8% 升至 67.1%。
雖然上述只是博客文章，不是經評審學術論文；作者標明「Not published yet」。所有實驗只用一個模型（GPT-6 Astra）、最大網絡只有 0.8B 參數，團隊仍在建立評估基準。不過有關結果已引起哄動。
什麼是模型權重？
一個大型語言模型，本質是一大堆數字。以 Qwen3.5-0.8B 為例，大約有 8 億個參數（權重），分佈在幾十層之中；每一層有注意力機制（決定現在應該望邊個字）與前饋網絡（MLP，負責轉化資訊）。當用戶輸入一句話，模型將文字變成向量 Vector，逐層乘上這些權重矩陣、加總、啟動，最後輸出下一個字的概率，有像玩啤牌的接龍遊戲。
打個比方：權重就像一部自動鋼琴的捲紙，上面密密麻麻打滿孔；文字是踏板與琴鍵的觸發，音樂就是模型的回應。訓練的過程，就是不斷修改這卷紙上的孔，直到彈出來的旋律符合人類的期望。所謂「8 億個參數」，就是 8 億個可以微調的孔。
更具體地說，一層 Transformer 通常包含四組權重：把字轉成向量的嵌入層；注意力的查詢、鍵、值矩陣（Q、K、V）；注意力輸出的投影；以及前饋網絡的兩層矩陣。以 0.8B 模型計，這些矩陣加起來是 8 億個浮點數。權重空間程式設計要做的，就是在 8 億個數字，找出哪幾行導致某個行為，然後只改那幾行。
傳統做法：梯度下降在改什麼？
今日所有主流模型都用梯度下降訓練。流程是：給模型看大量文字，計算預測下一個字的誤差（loss）；用反向傳播把這個誤差從輸出層一路傳回每一層，算出每個權重應該往哪個方向改、改多少（梯度）；再按學習率微調。重複幾百萬次，權重慢慢收斂。
這個方法有效，但有兩個代價。第一是成本貴：每次更新動用大量算力，而且是「黑盒」——沒人知道某個權重為什麼要改，只知改完誤差會降。第二是災難性遺忘：當你為了新任務再訓練，連帶可能破壞原有能力。
權重空間程式設計（weight-space programming）的想法是：如果一個夠強的大模型能「讀懂」另一組權重的意義，就可以像軟件除錯，直接找出問題的那幾行、直接改掉——不需要重跑整個LLM訓練。
三個實驗：讀、修、寫
第一個是「讀」。團隊用 PPO 訓練四個小遊戲代理（Breakout、Pong、Pac-Man、Freeway），每個只有 17,253 個權重。不告訴 Astra 遊戲名單，只給原始權重， Astra 四個全部答對——例如從 Breakout 代理第一層權重集中在底行，推斷那是「擋板」的位置。
第二個是「修」。一個撞車的自動駕駛策略，Astra 改動 3.5% 權重就修好；另一個實驗更誇張：只給遊戲規則、不給任何環境反饋，Astra 從零寫出一個 Breakout 網絡，得分 517.4，而用 PPO 訓練 5 億步的基準只有 25.3。
第三個是上面提及的著名 Qwen 實驗：找出「思考迴圈」權重來源，減去那個方向，0.016% 的改動換來六倍的分數。這個「六倍」引起討論——批評者問：7.9% 的起點本身是病態的（93% 答案跑爆了 token），修好迴圈只是把模型拉回正常水平，不應理解為打敗了一個健康模型。
為何重要：由「猜」走向「除錯」
如果這個方向成立，影響有三層。第一是可解釋性：過去我們只能靠輸入輸出推測模型行為，現在可以直接讀權重、指出某個行為是寫在哪裡。第二是精準修補：與其為了一個偏差行為重訓整個模型，不如找到那組權重改掉，成本與風險低得多。第三是模型合併：若能讀懂不同模型家族的權重佈局，理論上可以把某個能力「移植」過去，而不必重新訓結。不少研究者都集中在模型合併，本站報導理大的楊紅霞教授就是推動模型合併的 AI 專家。她在這方向的早期工作，見本站〈香港理大生成式AI技術取得重大突破〉。
但要留意，第三點目前仍是業界的推論。有關論文實驗結果，只集中小型網絡與單一模型家族；有關跨模型家族移植(grafting)、消除偏見、對齊微調，現時未有公開的成功案例，不過理論上具備應用潛力，引起業界關注。
應用限制與未解之謎
作者自己報告了失敗案例，同樣重要。他們以同一套方法去分辨 Gemma 3（270M） 的「誠實版」與奉承版（sycophantic）微調——單看權重，Astra 四次全部失敗；直接看到注意力模式，才三次全對。實驗證明了一點：非所有行為都寫在權重內，有些要行為靠動態計算才看得見，修權重沒有效果。
另一個失敗是改進 Gemma 數學能力：同一套程式設計手法對 Gemma 沒明顯幫助。加上不能無中生有地加入模型本來沒有的能力，不是每個模型都可照板煮碗、所以只是停留在單一模型、0.8B 規模、這項實驗也未經同行驗證——難以判斷 weight-space programming 是否放諸四海皆準。有人直指可「取代微調工具」，更是過度解讀：因為注入全新技能或私有數據，仍非靠訓練或微調不可。
為何仍未取代微調：token 的上下文瓶頸
要在權重空間寫入一個全新的能力，例如一種未見過的語言或公司內部的知識，模型必須先根據那個能力，「讀進」上下文——可惜的是讀多少上下文仍有 token 上限。一篇幾萬字的內部手冊，不可能在一次編輯中完整表達；相反，梯度下降可透過百萬次樣本，壓縮知識進權重內，這就就是所謂 token 瓶頸：權重空間程式設計適合修補已有的錯誤，卻並不適合從零灌輸大量新知識。當然，如果可以合併模型，又另作別論。
另一個現實限制是規模。今次最大只做到 0.8B；對於參數達數百億至數千億的模型，權重檔案的讀取、定位與改寫本身都是工程挑戰，而且出錯代價更高。不少評論人員以 weight-space programming 為 LLM 可解釋的一次進化，並不是「訓練時代的終結」。
企業與開發者有何意義？
短期內， weight-space programming 不是直接採購的 AI 工具，而是開發方向。可以先做三件事：一，把「模型出錯」分類做得更細——究竟是知識不足、指令誤解，還是 Qwen 那種推理迴圈？要對症下藥。二，要求供應商交代「修補」與「重訓」分別與成本，不要以為「微調」是解決成為所有問題的答案。三，LLM 終於有可觀測性：沒能力觀察模型行為，就算有權重編輯工具，也無從下手，如今已漸露曙光。
當模型可讀寫自己權重，誰有權改、改了幾多、如何審計會成為新的治理問題。今日的模型卡與使用條款，大多封閉的模型只能假設權重是固定的；可是公開模型卻可改變權重，如果修改可以令某種能力加強，或者通過合併增強，開源模型的性價比和可觀察性，可能因 Weight-Space Programming 增強，企業利用開源模型，又多了一個理由。