OpenAI 可解釋性新進展：靠稀疏電路看清 AI 內部運算

今天的 AI 就像一個極其聰明卻拒絕交出草稿紙的天才。你可以讓它寫程式碼、寫論文，但問它腦子裡到底哪根神經動了，沒人能給出確切答案。

過去大家想看懂大模型，基本都是「事後諸葛亮」：模型先照常訓成一團亂麻，研究員再拿著顯微鏡去逆向工程。每個神經元連著幾萬個其他神經元，還同時兼顧幾十種互不相干的功能，想理清思路基本等於大海撈針。

OpenAI 提出了一條完全反過來的路線：既然亂麻解不開，為什麼不從一開始就訓練一個不會打結的模型？

把成千上萬條線，強行剪成幾十條

OpenAI 團隊找來了類似 GPT-2 的模型架構，只改了一件事：強行把絕大多數權重壓成零。

在傳統稠密網路裡，神經元恨不得和前後所有節點都連上線。而在 OpenAI 這套稀疏網路裡，神經元總數變多了，但每個神經元只被允許保留幾十個連線。

這相當於把一張密不透風的大漁網，拆成了一條條互不干涉的獨立管道。

為了驗證這套結構到底清不清楚，研究人員挑了一些簡單的邏輯任務來考它。比如寫 Python 程式碼時，前面開的是單引號，後面就必須用單引號閉合；前面是雙引號，後面就得接雙引號。

結果讓人驚喜。研究人員在模型裡找到了一個極小、極乾淨的子網路，也就是所謂的「稀疏電路」。只要保留這幾個特定的神經元和連線，模型就能百分之百正確閉合引號；拔掉這幾條線，這項能力立刻癱瘓；而把模型其餘所有無關神經元全刪光，這個小電路依然能單獨跑通。

面對更復雜的變數繫結任務，研究人員雖然還沒完全拆透，但也找到了能預測模型行為的區域性電路。

更反直覺的是，他們發現只要把模型做得更大、連線限制得更稀疏，內部的電路反而會變得更純粹、更容易讓人看懂。

為什麼重要

現在很多人依賴思維鏈來監督 AI，覺得只要讓模型一步步把思考過程寫出來，就能防住欺騙和使壞。但 OpenAI 在文章裡講得很坦白：靠看模型的自我解釋是很脆弱的，模型越聰明，這套防線越容易失效。只有搞清楚內部物理連線是怎麼走的，安全監管才算有了抓手。

不過，我們認為這項研究目前離真正實用還隔著好幾座大山。

首先是價效比太低。現代硬體是專門給稠密矩陣計算設計的，強行跑稀疏網路在工程上非常低效，不僅訓起來費勁，部署成本也極高。OpenAI 自己也承認，這次測試的模型規模遠小於當前的前沿模型，而且大部分複雜的推理機制依然沒被解開。

所以他們現在指望的兩條路，要麼是直接從現有的稠密大模型裡生抽稀疏電路，要麼是發明更划算的稀疏訓練演算法。但在算力即權力的當下，如果一種架構為了「可解釋」要犧牲幾倍的推理速度和部署成本，商業公司很難有動力把它直接推上線。

但不管怎麼說，這步棋走得很有啟發性。它打破了過去「大模型越強就註定越像黑盒」的宿命論。如果未來我們真能像看電路圖一樣看懂前沿大模型的每一步計算，AI 安全才可能真正從玄學走向工程。