跳到正文
IFAI

AI科研

Anthropic 打造 AI「顯微鏡」:深入觀察 Claude 內部思維機制

首次發布 傳播指數 33

Anthropic 釋出最新研究成果,打造了一款專門透視大語言模型內部運作的「顯微鏡」工具,用於追蹤和解析 Claude 複雜且常令人意外的內部思維機制,試圖徹底開啟大模型思考的黑盒。

Anthropic 打造 AI「顯微鏡」:深入觀察 Claude 內部思維機制
圖:x.com

AI 大模型一直像個黑盒,輸進去一句話,吐出來一個答案,中間到底怎麼琢磨的誰也說不清。

Anthropic 在 X 上公佈了一項新研究,他們給大語言模型造了一臺「顯微鏡」,專門用來追蹤模型內部的思考過程。研究團隊正在用這個工具來窺探 Claude 內部那些複雜甚至出人意料的運作機制。

看看 Claude 腦子裡在轉什麼

大模型每次生成回答,內部都會經歷極其複雜的計算過程。過去大家大多隻能看它最終輸出了什麼,Anthropic 這次做的事情,則是把這個黑盒拆開一點縫隙。

他們打造的這套工具就像一臺神經學顯微鏡,試圖追蹤並看清 Claude 在處理任務時到底經歷了怎樣的心智鏈條,弄明白那些令人意外的內部反應究竟是怎麼發生的。

為什麼重要

對關注 AI 安全和底層機制的開發者來說,這套機制提供了一個難得的觀測視窗。如果未來能徹底看懂模型為什麼會做出某種推理、甚至在何時產生偏差,除錯和對齊大模型的門檻會大幅降低。

我們認為,Anthropic 選擇把研究重心放在模型可解釋性上挺聰明的。相比單純卷引數量和跑分,搞清楚大模型內部到底怎麼想,是解決幻覺、安全漏洞以及不可控行為的根本前提。不過目前這更多還是一項底層研究工具,離普通使用者直接用上或者徹底解開黑盒,看起來還有相當長的路要走。

來源 (1)

  1. [1]
    @AnthropicAI(在新分頁開啟)原文x.com

話題追蹤Anthropic 的 AI 可解釋性研究

這個話題的歷次新聞,最新的在上面。

  1. Anthropic CEO 談可解釋性:必須趕在模型能力失控前看清黑盒
  2. Anthropic 打造 AI「顯微鏡」:深入觀察 Claude 內部思維機制本則

每日 AI 內容精選