跳到正文
IFAI

行业动态

Anthropic 披露 Claude 滥用案例:水军当指挥官,新手手搓恶意软件

首次发布 传播指数 41

Anthropic 公布针对 Claude 恶意滥用的检测与应对报告。调查发现有黑产利用 Claude 充会社交网络水军中枢,自主决定点赞与转评;也有技术小白借其越级编写恶意代码。最值得关注的是,AI 正被当成半自主攻击工具,降低了犯罪门槛;目前相关违规账号已被封禁。

Anthropic 披露 Claude 滥用案例:水军当指挥官,新手手搓恶意软件
图:anthropic.com

过去我们总以为,水军用 AI 无非就是批量写写垃圾评论,哪怕再逼真,多看两眼也能瞧出破绽。

Anthropic 公布的一份调查报告,彻底打破了这种侥幸。在这份针对 Claude 滥用行为的调查里,黑客已经不再把 AI 当成单纯的打字机,而是把它当成了统揽全局的操盘手。

让 AI 决定什么时候点赞,水军升级成战术指挥官

这次最让人背脊发凉的,是一个商业化的「影响力即服务」水军网络。

这个黑产团伙在 X 和 Facebook 上操纵着上百个机器人账号,服务好几个国家的商业客户。他们给每个账号都设定了极其细致的政治人设,针对不同客户的需求去推销特定的政治叙事。

最狡猾的地方在于,他们根本不追求制造刷屏的爆款,而是要求 Claude 像真人一样去潜伏。Claude 负责扮演指挥官的角色,实时分析真实用户的发帖,然后做出战术判断:这条推文到底是该点赞、该转发、该反驳两句,还是直接忽略。

这批账号就这样不声不响地渗透进了几万名真实用户的社交网络里。要不是 Anthropic 用上了自家的 Clio 对话聚类和层级摘要分析技术抓出异常,这种长期、温和的舆论渗透几乎很难被传统算法察觉。

帮黑客洗语言,给菜鸟装上造木马的轮子

除了操纵舆论,AI 还在被用来填补犯罪分子的能力短板。

在东欧的一起招聘诈骗里,黑客把写得极其蹩脚的英语扔给 Claude,让它一键润色成地道的母语表达,甚至伪造全套面试话术,Anthropic 把这种手法形象地称为「语言清洗」。

还有人利用 Claude 重写开源爬虫脚本,试图整合暗网泄漏日志去批量攻破联网摄像头。更典型的是一个完全没有正规编程经验的攻击者,在 Claude 的一步步指点下,竟然把现成的简陋工具魔改成带有人脸识别和暗网扫描能力的木马软件。

虽然 Anthropic 强调后面这几个攻击案例并未确认在现实中得手,且涉案账号已被全数封禁,但门槛被抹平的趋势已经明摆在眼前。

为什么重要

这篇报告最值得关注的,是黑客使用大模型的方式发生了一个关键质变:从「生成内容」变成了「委托代理决策」。

以前防范水军,平台主要盯着文本相似度和发帖频率。但当 AI 开始自主判断什么时候该互动、什么时候该沉默,甚至有意识地维持长期的温吞人设,传统的内容风控基本就要失效了。我们认为,随着各类 Agent 架构落地,这种半自主的黑产网络只会越来越普遍,未来的舆论战打的将是 Agent 之间的对抗。

对于普通用户来说,这件事的警示非常具体。在社交网络上和你聊得有来有往、三观契合的账号,背后可能只是一个带着特定任务的脚本;那些在求职软件上发来措辞考究的海外猎头,也可能是借着 AI 脱胎换骨的骗子。

Anthropic 肯把这些还没完全掀起风浪的案例摊开来讲,做法确实挺坦诚,也能给同行提个醒。但隐患在于,这些案例里暴露出来的很多手法,比如修改代码、润色求职信、总结文本,本质上都是完全合法的双重用途能力。怎么在不误伤正常用户的前提下把恶意意图切掉,大模型厂商手里的剪刀其实远没有想象中那么好使。

来源 (1)

  1. [1]
    anthropic.com(在新标签页打开)原文anthropic.com

每日 AI 内容精选