Meta 提出 Autodata：讓智慧體當「資料科學家」，自我迭代造訓練資料

訓練前沿大模型最讓人頭疼的瓶頸，說白了從來不是算力不夠，而是高質量資料見底了。

業內通行的辦法是搞合成數據，用大模型自己給自己寫題目。但這事有個致命軟肋：以前的方法大多像個只管交差的流水線工人，給一段提示詞就吐一堆資料，吐完不管對錯，全靠人類工程師在後麵人肉清洗、人工除錯 prompt。

Meta 在 arXiv 上放出一篇論文，提出了一個叫 Autodata 的全新框架。他們的思路挺直截了當：既然人類資料科學家懂得怎麼造資料、查資料、修資料，那為什麼不直接讓 AI 智慧體扮演這個「資料科學家」？

讓 AI 當資料科學家，自己查自己的作業

傳統的合成數據從最早的 Self-Instruct，演進到結合文件的 Grounded Self-Instruct 和加入思維鏈的 CoT Self-Instruct，本質上都是單向輸出。

Autodata 則把整個過程做成了一個自我迭代的閉環，他們把這種具體實現叫做 Agentic Self-Instruct。

在這個體系裡，智慧體首先基於輸入的源材料（比如數學、法律或計算機研究文獻）生成訓練樣本。但生成完並沒有結束，它還會呼叫一個「挑戰者智慧體」和一套評估標準，去檢查這些樣本到底準不準、有沒有價值，並實測模型在這些資料上的表現。

更關鍵的一步在後面。智慧體會「肉眼」復盤這些資料表現，從失敗的案例裡提煉經驗，然後主動修改自己的生成策略，更新下一輪的資料生產方式。Meta 還設計了外層的元最佳化（meta-optimize），直接訓練這個「資料科學家」智慧體本身，讓它越練越會造資料。

在具體的實驗裡，研究團隊在電腦科學研究任務、法律推理以及數學物件推理上做了測試。用 Autodata 生成的資料集訓練一個很小的 Qwen 3.5 4B 模型，其表現明顯壓制了傳統的合成數據方法。

為什麼重要

我們認為，Autodata 最聰明的地方，在於它把當前行業正在卷的「推理算力」，順暢地轉換成了「高質量訓練資料」。

過去大家拼命給模型堆推理算力讓它做深思熟慮，而 Meta 把這股算力用在了資料生產的前期迴圈裡。讓智慧體花算力去自己造題、做題、判卷、反思，這就打破了以往合成數據低質膨脹、容易汙染模型的死迴圈。

對開發者和研究人員來說，這意味著未來構建垂直領域的微調資料或基準測試，門檻將大幅降低。你不再需要僱傭昂貴的人類標註團隊一行行修資料，只要給智慧體提供專業文獻和驗證規則，它就能自產高質量語料。

當然，隱患也擺在眼前。整個閉環極度依賴外層評估標準的客觀性。在數學、程式碼或者邏輯嚴密的法律條文裡，判斷對錯相對明確；但如果要用它去造人文社科或開放性對話資料，智慧體很可能會把自以為是的偏見當成「自我進化」，從而陷入更深層的幻覺漂移。不過無論如何，讓 AI 替代人類科學家去設計資料，這條路線顯然已經走出了關鍵的一步。