跳到正文
IFAI

AIGC

字节跳动发布 X-Portrait 2:让一张静态照片演《闪灵》

首次发布 传播指数 31

字节跳动推出 AI 系统 X-Portrait 2,仅凭单张照片就能重现经典电影里的复杂表情。它放弃了传统打点追踪,直接学习整张脸的肌肉流动,连惊恐与狂喜都能逼真呈现。出于深度伪造与滥用担忧,字节目前未对外公开代码。

字节跳动发布 X-Portrait 2:让一张静态照片演《闪灵》
图:venturebeat.com

给 AI 一张你的自拍照,再扔一段经典电影片段,几秒钟后,照片里的人就能演出跟原片影帝一模一样的狂怒、惊恐或冷笑。

字节跳动最近公布了名为 X-Portrait 2 的面部动效生成系统。在官方演示里,一张普通的静态人像直接演起了《闪灵》、《变脸》和《藩篱》里的经典桥段,面部肌肉的细微颤抖、眼波流转都还原得丝丝入扣,甚至连动漫插画和复古油画人像,也能被同一段视频驱动得极具感染力。

扔掉关键点,直接学整张脸怎么动

过去几年里的照片转视频工具,大多有一股浓重的假面感。只要画面里的人大幅度转头或者说话变快,嘴唇周围就会出现模糊、拉伸或机械式的扭曲。

传统面部动画的做法,是在五官上打几十上百个关键点,靠追踪这些点的位置变化来拽着皮肤变形。这就像木偶拉线,动作稍微剧烈一点就会穿帮。

X-Portrait 2 换了思路。它不再追踪离散的点,而是让模型直接观察和学习整张人脸在连续运动中的肌肉流动。不管镜头角度怎么变,或者角色在极快地语速下讲话,整个面部的微表情都能平滑过渡。

技术路线是一方面,更关键的其实是训练素材。字节拥有每天产生超过 10 亿条视频的 TikTok 庞大内容库,这让它拥有业内几乎无人能比的高密度、跨人种、跨光照条件的真实人类表情数据,根本不需要像同行那样靠合成数据凑数。

一边扩张算力,一边把模型关进抽屉

字节的技术步子迈得很大,但开源策略却格外谨慎。面对美国政界讨论、加拿大此前下令要求 TikTok 终止业务的监管压力,以及外界对换脸假视频的担忧,字节选择把 X-Portrait 2 的代码私有化,并没有公开放出。

与此同时,字节正在把 AI 版图向全球铺开。除了计划在马来西亚斥资 21.3 亿美元建设 AI 中心,他们还在筹备瑞士、英国和法国等欧洲研发中心,并保持与清华大学等学术机构的合作。

把人像驱动做到以假乱真,也让外界再次警惕安全问题。尤其是今年 10 月字节内部才刚开除了一名涉嫌干扰 AI 模型训练的实习生,模型资产与生成式滥用的防线正变得越来越敏感。

为什么重要

我们认为,X-Portrait 2 展现了字节在多模态赛道上极具杀伤力的差异化路线。当 OpenAI 和 Anthropic 把精力压在大语言模型上时,字节把宝押在了自己最熟悉的东西上:人在镜头前是怎么动、怎么表达情绪的。

对影视制作和虚拟内容行业来说,这种技术的影响是立竿见影的。好莱坞大厂以往做一个高质量的面部表情捕捉,要花数百万美元买动捕头盔和扫描阵列,再配上几百名动画师手工修穿模。X-Portrait 2 意味着以后可能只需要一段参考表演和一张图,就能把动捕成本砍掉几个数量级,独立创作者也能碰以前大厂才玩得起的数字人表演。

但目前普通人根本用不上它,这反而是字节聪明但也无奈的地方。在大选余波与深度伪造泛滥的当下,把这类工具直接扔进开源社区无异于引火烧身。我们认为它短期内大概率只会作为剪映或 TikTok 的内部特效底座,或者以受限 API 的形式落地。技术护城河虽然靠 TikTok 的十亿用户视频喂饱了,但在地缘政治和监管审视下,如何证明自己不会变成造假流水线,才是它真正难跨过去的关卡。

来源 (1)

  1. [1]
    venturebeat.com(在新标签页打开)原文venturebeat.com

话题追踪字节跳动开发生成式视频模型以竞争 Sora

这个话题的历次新闻,最新的在上面。

  1. 字节跳动发布 X-Portrait 2:让一张静态照片演《闪灵》本条
  2. 字节跳动推两款视频模型:PixelDance 攻克多镜头,Seaweed 达两分钟
  3. 字节跳动上线「即梦 AI」iOS 版:支持文生图和视频,月费 69 元

每日 AI 内容精选