跳到正文
IFAI

產業動態

OpenAI 成立兒童安全團隊:防範未成年人濫用 AI

首次發布 傳播指數 59

OpenAI 組建專門的兒童安全團隊並公開招聘執行專家,重點研究如何防範生成式 AI 工具被未成年人濫用。該團隊將協同法務、平臺政策等部門,專門負責涉未成年人的內容稽核與突發事件處理。

OpenAI 成立兒童安全團隊:防範未成年人濫用 AI
圖:techcrunch.com

如果家裡有青少年,你可能會發現他們用 ChatGPT 的方式早就超出了寫作業的範疇。

如今不少孩子正把聊天機器人當成傾訴心事樹洞、心理輔導員甚至家庭矛盾調解員。面對這種意想不到的普及速度,OpenAI 坐不住了。

OpenAI 最近在官網招聘頁面悄悄公開了一個新編制:兒童安全團隊(Child Safety team)。他們目前正在招募專門的兒童安全執行專家,重點研究如何防範自家的生成式 AI 工具被未成年人濫用。

專人處理涉未成年人突發事件

根據崗位描述,這個新設立的兒童安全團隊並不是單打獨鬥。

它將與 OpenAI 內部的平臺政策、法務以及調查團隊緊密配合,同時聯合外部合作伙伴,專門管理與未成年使用者相關的流程、內容審查和突發事件。

新招募的執行專家主要負責將現有的平臺安全政策,具體落實到 AI 生成內容的審查流程中,重點盯防涉及兒童的各類敏感內容。

其實在表面條款上,OpenAI 早有防備。平臺當前的使用條款明確規定,禁止 13 歲以下兒童使用,13 至 18 歲的未成年人使用必須獲得家長同意。但誰都知道,網際網路上的年齡門檻往往形同虛設。

擋不住的未成年使用者群

孩子們對生成式 AI 的依賴程度,遠比成年人想像得要深。

美國民主與技術中心(CDT)的一項民調顯示,29% 的受訪青少年表示曾使用 ChatGPT 來緩解焦慮或心理健康問題,22% 的人用它來處理朋友間的人際關係,還有 16% 的人拿它應對家庭衝突。

但伴隨而來的風險也在成倍增加。英國安全網際網路中心的一項調查顯示,超過一半(53%)的未成年人表示,見過同齡人將生成式 AI 用於負面用途,例如製作極具欺騙性的虛假資訊,或是生成用來傷害他人的圖片。

國際監管機構的警燈也早已亮起。聯合國教科文組織總幹事 Audrey Azoulay 此前就公開敦促各國政府監管教育領域的生成式 AI,明確設立使用年齡限制和資料隱私護欄。面對監管風暴和輿論審視,OpenAI 必須拿出實質性動作。

為什麼重要

我們認為,OpenAI 成立兒童安全團隊,是它從一家技術研發機構向大眾消費級平臺演進時,不得不補上的一門必修課。

對於家長和教育工作者來說,孩子們接觸 AI 的趨勢已經無法逆轉。過去學校試圖一禁了之,後來發現根本堵不住。OpenAI 開始在團隊架構上設立專職防火牆,至少能讓針對青少年的內容濫用和心理誘導得到更及時的干預。

從商業和行業競爭來看,教育市場是 OpenAI 極其看重的增長點。他們前不久剛簽下首個教育機構客戶,並與 Common Sense Media 合作制定兒童 AI 指南。但教育市場同樣也是合規雷區,美國 COPPA 等兒童隱私法規處罰極為嚴苛,一旦在未成年人保護上翻車,商業化程序可能瞬間擱淺。

不過,光靠人工稽核專家來打補丁,顯然還遠遠不夠。大語言模型天然帶有幻覺,且極易產生虛假共情,這對心智尚未成熟的未成年人尤其危險。我們認為,比起事後的違規審查,OpenAI 未來更需要在模型底層建立適應兒童心理特徵的安全對齊機制,否則這場貓鼠遊戲才剛剛開始。

來源 (3)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com
  2. [2]
  3. [3]

話題追蹤AI 行業兒童安全標準與協作

這個話題的歷次新聞,最新的在上面。

  1. OpenAI 聯手多家巨頭:簽署兒童安全設計原則,嚴打違規生成
  2. OpenAI 成立兒童安全團隊:防範未成年人濫用 AI本則

每日 AI 內容精選