跳到正文
IFAI

產業動態

OpenAI 查禁 5 起秘密輿論操縱:AI 水軍雖然能寫,但沒人看

首次發布 傳播指數 44

OpenAI 宣佈封禁了 5 起利用其模型進行秘密輿論操縱的行動,涉及俄羅斯、中國、伊朗及以色列的操盤團伙。這些賬號主要用 AI 批次生成多語言社交言論或輔助程式設計。最值得關注的是,評估顯示這些 AI 水軍均未掀起實質水花,幾乎沒有吸引到真實的公眾互動。

OpenAI 查禁 5 起秘密輿論操縱:AI 水軍雖然能寫,但沒人看
圖:openai.com

大家都在擔心 AI 會不會變成超級水軍工廠,讓假新聞和認知戰徹底失控。OpenAI 剛剛交出的一份成績單,卻給這個恐慌潑了盆冷水。

OpenAI 宣佈,在過去三個月裡,他們封禁了五個試圖利用其模型進行隱蔽影響力行動的網路。這些賬號分佈在俄羅斯、中國、伊朗以及以色列的一家商業政治公關公司。

但這篇報告最耐人尋味的地方在於:這些水軍雖然用上了最先進的 AI,實際效果卻慘不忍睹。

拿頂尖大模型,幹最基礎的搬磚活

根據 OpenAI 的梳理,這五起行動覆蓋的話題非常廣泛,包括烏克蘭危機、加沙局勢、印度大選以及歐美政治。

其中兩起來自俄羅斯,一個代號叫 Bad Grammar,主要在 Telegram 上活動;另一個是臭名昭著的 Doppelganger 團隊,把內容翻譯成英、法、德、意、波蘭語發在 X 和 9GAG 上。

來自中國的 Spamouflage 網路則用大模型做開源調研、生成多語言推文,還讓 AI 幫忙除錯網站程式碼。伊朗的虛擬媒體聯合會(IUVM)用它批次生成和翻譯新聞長文。以色列商業公司 STOIC 主導的 Zero Zeno,則用 AI 批次生成評論發在 Instagram 和 Facebook 上。

聽起來分工明確,但它們用 AI 做的事相當平庸。大模型基本被當成了廉價翻譯、潤色工具、起名生成器,或者一個幫忙改程式碼的初級程式設計師。

更尷尬的是受眾根本不買賬。按照布魯金斯學會評估影響力行動的六級突破量表,這五起行動的得分全都沒超過兩級,意味著它們只是在多個平臺機械刷屏,從沒真正打進過真實網民的討論圈子。

操作員的水平甚至經常拉胯。報告提到,有水軍竟然直接把 AI 拒答的系統提示詞,連同複製貼上一起發到了社交媒體和公開網站上。

調查週期從幾個月縮短到幾天

水軍在進化,防守方其實跑得更快。

OpenAI 透露,他們自己的安全系統不僅多次直接觸發了拒絕機制,攔截了惡意生成請求,他們還用基於大模型的內部工具來輔助調查。

以往追蹤這類多平臺的跨國水軍網路,安全團隊往往需要耗費數週甚至數月來比對痕跡。如今靠自研的 AI 調查工具,整個排查過程被壓縮到了幾天以內。

隨後,OpenAI 將這些威脅特徵共享給了其他科技同行和開源研究社群,把防禦鏈條推向了全行業。

為什麼重要

我們認為,這份報告打破了很多人對 AI 認知戰的過度神話。

很多人以為只要有了生成式 AI,就能憑空捏造民意、煽動輿論。但事實證明,影響力的核心瓶頸從來都不是批次製造文字,而是內容的分發渠道和真實共鳴。沒有演算法推流和真實互動,AI 批次吐出來的幾萬條推文,不過是網際網路荒漠裡自說自話的垃圾資訊。

對普通人來說,這並不意味著你可以徹底放鬆警惕。水軍用 AI 消除語法錯誤、偽造多語種身份的門檻確實降到了近乎於零,未來的假資訊看起來會更自然、更像真人。

從行業博弈來看,OpenAI 這次展示了防守方以 AI 治 AI 的戰術成效。大模型在防禦審計、線索歸因上的提速,遠比駭客拿它刷評論帶來的收益更明顯。

不過隱患同樣存在。OpenAI 只能清理自己平臺上的 API 呼叫和賬號,水軍隨時可以遷移到開源本地模型上。當認知對抗從雲端轉移到無監管的本地端,真正的貓鼠遊戲才剛開始。

來源 (1)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com

話題追蹤OpenAI 打擊 AI 影響力行動

這個話題的歷次新聞,最新的在上面。

  1. OpenAI 公佈大選防護資料:駁回 25 萬次政治人物深偽影像生成
  2. OpenAI 封禁伊朗駭客賬號:用 ChatGPT 干預美國大選,但幾乎沒人看
  3. OpenAI 查禁 5 起秘密輿論操縱:AI 水軍雖然能寫,但沒人看本則

每日 AI 內容精選