跳到正文
IFAI

AI科研

Google 研究員發論文自揭短處:生成式 AI 正在用虛假垃圾汙染網際網路

首次發布 傳播指數 31

Google 研究人員發表了一篇預印本論文,警告生成式 AI 正被絕大多數使用者用來模糊虛實界限,大規模製造假圖和假影片以操縱輿論、詐騙牟利。大量劣質內容不僅加重了網民的辨別負擔,甚至讓公眾人物能借機把不利證據辯解為「AI 偽造」。

Google 研究員發論文自揭短處:生成式 AI 正在用虛假垃圾汙染網際網路
圖:futurism.com

Google 的產品部門還在變著法子把生成式 AI 塞進搜尋框和各個角落,自家的研究人員卻在背後潑了一盆冷水。

外媒 404 Media 發現,幾位 Google 研究員最近發了一篇尚未經過同行評審的預印本論文。論文的核心結論相當不客氣:生成式 AI 正在用海量的虛假垃圾內容,迅速毀掉網際網路的大片領地。

造假門檻歸零,造假成了主流用法

研究團隊梳理了先前的學術研究,並詳細復盤了約 200 起公開報道的生成式 AI 濫用案例。

他們發現,現實中最普遍的濫用手段主要集中在兩點:操縱真實人物肖像,以及偽造關鍵證據。

大部分操作都有極其明確的動機,要麼是為了操縱公眾輿論,要麼是用來設局詐騙,再不然就是純粹為了流量變現。

讓情況雪上加霜的是工具門檻的暴跌。研究人員指出,現在的生成式 AI 越來越強大,但對使用者的技術要求卻幾乎降到了零。

任何人只要隨手打幾個提示詞,就能批次製造以假亂真的圖文甚至影片。這種低門檻的濫用,正在扭曲大眾對社會政治現實和科學共識的認知。

連真實的證據,也被打成了「AI 假圖」

如果只是假內容變多,大家多長個心眼或許還能應付。但研究人員提醒,真正的危機遠不止於此。

垃圾化、惡意的合成內容大規模氾濫,正在讓普通人對網路上的所有數字資訊產生普遍懷疑,被迫承擔極其沉重的核驗成本。

更讓人背脊發涼的是所謂的「說謊者紅利」。研究指出,已經有公眾人物在面對對自己不利的真實證據時,直接反咬一口說「那是 AI 生成的假東西」。

這樣一來,舉證的責任被以極其昂貴且低效的方式強行轉移給了質疑者,真相反而被稀釋成了說不清的糊塗賬。

不過耐人尋味的是,整篇論文通篇沒有提及 Google 自己的翻車現場,比如近期 AI 搜尋摘要胡言亂語被官方緊急手動清理的尷尬經歷。

為什麼重要

我們認為,這篇論文最扎心的地方在於,它揭示了一個行業公開的秘密:很多人嘴裡的「AI 濫用」,本質上其實是這項技術在按預期正常工作。

生成式 AI 最擅長的事情之一就是偽造現實。當商業公司為了搶佔市場,競相把門檻降得越來越低時,網際網路被低質內容淹沒就成了必然結果。

對普通使用者來說,接下來的網路環境只會變得越來越難辨真假。你不僅要防範越來越逼真的新型詐騙,日常看新聞也必須投入更多精力去查驗信源。如果你是個內容創作者,被抄襲或被冒名的維權成本也將高得令人望而卻步。

看起來,Google 等科技巨頭如今正處在一種極其分裂的狀態。實驗室裡的學者清楚看到了合成垃圾對網際網路生態的侵蝕,但商業部門卻停不下把 AI 包裝成核心賣點的步伐。巨頭們親手打開了潘多拉魔盒,卻把清理現場的代價留給了所有網民。

來源 (1)

  1. [1]
    futurism.com(在新分頁開啟)原文futurism.com

每日 AI 內容精選