#Nested Learning

AI科研傳播指數 31

Google 提出 Nested Learning：打破架構與演算法界限，專治大模型「健忘症」

Google Research 提出機器學習新範式 Nested Learning，試圖解決大模型的災難性遺忘問題。該方法將網路架構與最佳化演算法統一為按不同頻率更新的巢狀最佳化問題，並據此設計出自修改架構 Hope，在長文本與常識推理評測中表現優於標準 Transformer。