跳到正文
IFAI

AI工具

Pangram 釋出檢測模型 Image 1.0:識破 AI 圖和影片,還能畫熱力圖

首次發布 傳播指數 39

Pangram 正式上線 AI 檢測模型 Image 1.0 與輕量版 Flash 1.0,能識別前沿生成器製作的影像與影片。Image 1.0 可輸出熱力圖標出畫面偽造區域,Flash 1.0 則支援逐幀影片排查。模型現已接入 Chrome 外掛和 API,刷社交平臺或網購時就能直接驗真。

Pangram 釋出檢測模型 Image 1.0:識破 AI 圖和影片,還能畫熱力圖
圖:pangram.com

網上刷到一張逼真的豪宅租房圖,或者一段名人的講話影片,肉眼早就分不出真假了。你懷疑它是 AI 畫的,但對方一口咬定是真的,這時候誰說了算?

AI 檢測初創公司 Pangram 剛剛結束了數月的研究預覽,正式上線了它的旗艦模型 Pangram Image 1.0,以及專攻影片的輕量版 Pangram Image Flash 1.0。它們不僅能給整張圖下真偽判斷,還能把到底哪塊動了手腳直接框出來。

區域性造假也能畫熱力圖,連糊圖都不放過

以前很多檢測工具只能給一個整張圖的機率分,遇到半真半假的拼接圖往往就抓瞎了。Pangram Image 1.0 的最大看點之一是熱力圖輸出功能,它能精確定位一張圖片裡哪些畫素是 AI 生成的,哪怕是在真照片裡貼了一塊假內容,也能被揪出來。

團隊用 12 種前沿 AI 影像生成器做了測試。他們找來 100 張真實照片,用極為接近的提示詞生成了 1200 張合成圖,Image 1.0 在這個測試集上拿到了 99.96% 的準確率,並在 X-AIGD、Mirage-Test 等多個學術基準測試中對比了同類檢測工具。

更接地氣的一點是抗噪能力。社交網路上傳圖往往會瘋狂壓縮,騙子也喜歡給圖加上模糊和噪點來避開檢測。Pangram 專門針對這類干擾進行了訓練。上一版預覽版最低只支援 512x512 解析度,這次下調到了 256x256。雖然低於 512 解析度時系統會附帶置信度降低的提示,但至少不用擔心低清縮圖直接拒檢了。

影片逐幀排查,把差距拉開近 30 個點

如果說看圖還算有跡可循,辨別假影片就是地獄難度了。學術研究 DF26 顯示,讓人類肉眼去分辨真人講話和 AI 生成講話,準確率基本和擲硬幣差不多,現有的很多檢測模型也沒好到哪去。

這次專門推出的 Pangram Image Flash 1.0 就是衝著影片來的。在 DF26 基準上,它的測試成績達到了 98.7%,比目前第二名的檢測工具整整高出 29 個百分點。另外在 AIGVDBench 和 Ivy-Fake 等基準測試中也有表現。

團隊做了一個工業對比測試:取了 129 段真實的社交網路影片,用 14 種前沿影片生成模型跑出 AI 映象,每個模型抽樣 100 段,總計湊出 1529 段影片。為了防作弊,生成時用原影片的第一幀當種子,配合視覺語言模型生成的指令碼來合成,讓假影片在場景和主題上與真影片完全一致。現在 Pangram 已經支援原生影片上傳,Flash 1.0 會逐幀掃描並標註哪些片段被 AI 處理過。

為了讓普通人用得上,這兩款模型已經接進了 Chrome 瀏覽器外掛和官方 API。裝上外掛後,你刷社交媒體、逛網購平臺或者看租房房源時,頁面裡的圖片就能即時驗真。

為什麼重要

對普通使用者和內容創作者來說,這算是一個來得很及時的護身符。現在租房虛假宣傳、二手交易假圖、甚至冒充名人的帶貨影片滿天飛,光靠一雙肉眼根本頂不住。有了瀏覽器外掛,遇到拿捏不準的圖片隨手掃一眼,至少能避開大部分低劣甚至中等水準的殺豬盤。對於開發者和內容平臺,接入 API 也能在稽核鏈路裡多一道自動化閘門。

但這場貓鼠遊戲離終局還遠得很。Pangram 雖然把測試集準確率刷得很高,但歷史反覆證明,一旦鑑偽模型公開並且被廣泛使用,生成模型的開發者就會拿檢測器的反饋來反向訓練,或者通過更復雜的二次加噪來繞過判定。99.96% 聽起來很穩,但在實際開放網路中,各種奇葩濾鏡和未知生成模型必然會帶來誤判。

我們認為,Pangram 這次最聰明的地方在於它沒有死磕純粹的二元是非題,而是給出了熱力圖和置信度提示。它不強行充當唯一的法官,而是把可疑區域圈出來展示給使用者看,讓人類結合上下文去二次核實。面對越來越逼真的多模態造假,這種把決策權半交還給人、同時大幅降低排查成本的產品思路,看起來是目前最切合實際的解法。

來源 (1)

  1. [1]
    pangram.com(在新分頁開啟)原文pangram.com

每日 AI 內容精選