跳到正文
IFAI

AI工具

Pangram 发布检测模型 Image 1.0:识破 AI 图和视频,还能画热力图

首次发布 传播指数 39

Pangram 正式上线 AI 检测模型 Image 1.0 与轻量版 Flash 1.0,能识别前沿生成器制作的图像与视频。Image 1.0 可输出热力图标出画面伪造区域,Flash 1.0 则支持逐帧视频排查。模型现已接入 Chrome 插件和 API,刷社交平台或网购时就能直接验真。

Pangram 发布检测模型 Image 1.0:识破 AI 图和视频,还能画热力图
图:pangram.com

网上刷到一张逼真的豪宅租房图,或者一段名人的讲话视频,肉眼早就分不出真假了。你怀疑它是 AI 画的,但对方一口咬定是真的,这时候谁说了算?

AI 检测初创公司 Pangram 刚刚结束了数月的研究预览,正式上线了它的旗舰模型 Pangram Image 1.0,以及专攻视频的轻量版 Pangram Image Flash 1.0。它们不仅能给整张图下真伪判断,还能把到底哪块动了手脚直接框出来。

局部造假也能画热力图,连糊图都不放过

以前很多检测工具只能给一个整张图的概率分,遇到半真半假的拼接图往往就抓瞎了。Pangram Image 1.0 的最大看点之一是热力图输出功能,它能精确定位一张图片里哪些像素是 AI 生成的,哪怕是在真照片里贴了一块假内容,也能被揪出来。

团队用 12 种前沿 AI 图像生成器做了测试。他们找来 100 张真实照片,用极为接近的提示词生成了 1200 张合成图,Image 1.0 在这个测试集上拿到了 99.96% 的准确率,并在 X-AIGD、Mirage-Test 等多个学术基准测试中对比了同类检测工具。

更接地气的一点是抗噪能力。社交网络上传图往往会疯狂压缩,骗子也喜欢给图加上模糊和噪点来避开检测。Pangram 专门针对这类干扰进行了训练。上一版预览版最低只支持 512x512 分辨率,这次下调到了 256x256。虽然低于 512 分辨率时系统会附带置信度降低的提示,但至少不用担心低清缩略图直接拒检了。

视频逐帧排查,把差距拉开近 30 个点

如果说看图还算有迹可循,辨别假视频就是地狱难度了。学术研究 DF26 显示,让人类肉眼去分辨真人讲话和 AI 生成讲话,准确率基本和掷硬币差不多,现有的很多检测模型也没好到哪去。

这次专门推出的 Pangram Image Flash 1.0 就是冲着视频来的。在 DF26 基准上,它的测试成绩达到了 98.7%,比目前第二名的检测工具整整高出 29 个百分点。另外在 AIGVDBench 和 Ivy-Fake 等基准测试中也有表现。

团队做了一个工业对比测试:取了 129 段真实的社交网络视频,用 14 种前沿视频生成模型跑出 AI 镜像,每个模型抽样 100 段,总计凑出 1529 段视频。为了防作弊,生成时用原视频的第一帧当种子,配合视觉语言模型生成的脚本来合成,让假视频在场景和主题上与真视频完全一致。现在 Pangram 已经支持原生视频上传,Flash 1.0 会逐帧扫描并标注哪些片段被 AI 处理过。

为了让普通人用得上,这两款模型已经接进了 Chrome 浏览器插件和官方 API。装上插件后,你刷社交媒体、逛网购平台或者看租房房源时,页面里的图片就能实时验真。

为什么重要

对普通用户和内容创作者来说,这算是一个来得很及时的护身符。现在租房虚假宣传、二手交易假图、甚至冒充名人的带货视频满天飞,光靠一双肉眼根本顶不住。有了浏览器插件,遇到拿捏不准的图片随手扫一眼,至少能避开大部分低劣甚至中等水准的杀猪盘。对于开发者和内容平台,接入 API 也能在审核链路里多一道自动化闸门。

但这场猫鼠游戏离终局还远得很。Pangram 虽然把测试集准确率刷得很高,但历史反复证明,一旦鉴伪模型公开并且被广泛使用,生成模型的开发者就会拿检测器的反馈来反向训练,或者通过更复杂的二次加噪来绕过判定。99.96% 听起来很稳,但在实际开放网络中,各种奇葩滤镜和未知生成模型必然会带来误判。

我们认为,Pangram 这次最聪明的地方在于它没有死磕纯粹的二元是非题,而是给出了热力图和置信度提示。它不强行充当唯一的法官,而是把可疑区域圈出来展示给用户看,让人类结合上下文去二次核实。面对越来越逼真的多模态造假,这种把决策权半交还给人、同时大幅降低排查成本的产品思路,看起来是目前最切合实际的解法。

来源 (1)

  1. [1]
    pangram.com(在新标签页打开)原文pangram.com

每日 AI 内容精选