OpenAI 成立兒童安全團隊:防範未成年人濫用 AI
OpenAI 組建專門的兒童安全團隊並公開招聘執行專家,重點研究如何防範生成式 AI 工具被未成年人濫用。該團隊將協同法務、平臺政策等部門,專門負責涉未成年人的內容稽核與突發事件處理。

如果家裡有青少年,你可能會發現他們用 ChatGPT 的方式早就超出了寫作業的範疇。
如今不少孩子正把聊天機器人當成傾訴心事樹洞、心理輔導員甚至家庭矛盾調解員。面對這種意想不到的普及速度,OpenAI 坐不住了。
OpenAI 最近在官網招聘頁面悄悄公開了一個新編制:兒童安全團隊(Child Safety team)。他們目前正在招募專門的兒童安全執行專家,重點研究如何防範自家的生成式 AI 工具被未成年人濫用。
專人處理涉未成年人突發事件
根據崗位描述,這個新設立的兒童安全團隊並不是單打獨鬥。
它將與 OpenAI 內部的平臺政策、法務以及調查團隊緊密配合,同時聯合外部合作伙伴,專門管理與未成年使用者相關的流程、內容審查和突發事件。
新招募的執行專家主要負責將現有的平臺安全政策,具體落實到 AI 生成內容的審查流程中,重點盯防涉及兒童的各類敏感內容。
其實在表面條款上,OpenAI 早有防備。平臺當前的使用條款明確規定,禁止 13 歲以下兒童使用,13 至 18 歲的未成年人使用必須獲得家長同意。但誰都知道,網際網路上的年齡門檻往往形同虛設。
擋不住的未成年使用者群
孩子們對生成式 AI 的依賴程度,遠比成年人想像得要深。
美國民主與技術中心(CDT)的一項民調顯示,29% 的受訪青少年表示曾使用 ChatGPT 來緩解焦慮或心理健康問題,22% 的人用它來處理朋友間的人際關係,還有 16% 的人拿它應對家庭衝突。
但伴隨而來的風險也在成倍增加。英國安全網際網路中心的一項調查顯示,超過一半(53%)的未成年人表示,見過同齡人將生成式 AI 用於負面用途,例如製作極具欺騙性的虛假資訊,或是生成用來傷害他人的圖片。
國際監管機構的警燈也早已亮起。聯合國教科文組織總幹事 Audrey Azoulay 此前就公開敦促各國政府監管教育領域的生成式 AI,明確設立使用年齡限制和資料隱私護欄。面對監管風暴和輿論審視,OpenAI 必須拿出實質性動作。
為什麼重要
我們認為,OpenAI 成立兒童安全團隊,是它從一家技術研發機構向大眾消費級平臺演進時,不得不補上的一門必修課。
對於家長和教育工作者來說,孩子們接觸 AI 的趨勢已經無法逆轉。過去學校試圖一禁了之,後來發現根本堵不住。OpenAI 開始在團隊架構上設立專職防火牆,至少能讓針對青少年的內容濫用和心理誘導得到更及時的干預。
從商業和行業競爭來看,教育市場是 OpenAI 極其看重的增長點。他們前不久剛簽下首個教育機構客戶,並與 Common Sense Media 合作制定兒童 AI 指南。但教育市場同樣也是合規雷區,美國 COPPA 等兒童隱私法規處罰極為嚴苛,一旦在未成年人保護上翻車,商業化程序可能瞬間擱淺。
不過,光靠人工稽核專家來打補丁,顯然還遠遠不夠。大語言模型天然帶有幻覺,且極易產生虛假共情,這對心智尚未成熟的未成年人尤其危險。我們認為,比起事後的違規審查,OpenAI 未來更需要在模型底層建立適應兒童心理特徵的安全對齊機制,否則這場貓鼠遊戲才剛剛開始。
來源 (3)
- openai.com(在新分頁開啟)原文openai.com
- techcrunch.com(在新分頁開啟)報導techcrunch.com
- @TechCrunch(在新分頁開啟)討論x.com
話題追蹤AI 行業兒童安全標準與協作
- OpenAI 聯手多家巨頭:簽署兒童安全設計原則,嚴打違規生成
- OpenAI 成立兒童安全團隊:防範未成年人濫用 AI本則