跳到正文
IFAI

AI工具

ElevenLabs 开源 X to Voice:分析 X 账号生成专属音色

首次发布 传播指数 52

上周,ElevenLabs 推出开源项目 X to Voice 并上线 Voice Design API。输入任意 X 用户名,系统会自动分析其简介与发帖风格,生成对应提示词与 3 个音色样本,还能让头像对嘴型朗读。开发者也能直接调用 API 为 AI 角色定制声音。

ElevenLabs 开源 X to Voice:分析 X 账号生成专属音色
图:x.com

X to Voice 是 ElevenLabs 刚开源的一个实验项目,只要输入一个 X(原 Twitter)账号名,它就能分析该主页的简介和发帖风格,自动为你捏出一套专属的 AI 音色。

它能做什么

你只需要提供一个 X 平台的用户名,系统就会自动抓取并分析账号的个人简介和历史发帖。

基于这些文字内容,它会先提炼出一段描述声音特质的提示词,涵盖音高、音色、语速和抑扬顿挫等细节,再把这段提示词传给 ElevenLabs 刚推出的 Voice Design 模型。

据 Gadgets 360 实测,整个分析与生成过程大约需要 30 秒到 1 分钟。最终页面会给出 3 个不同的音色预览样本,并且朗读一句根据该账号画像定制的台词,同时展示生成时所用的提示词。

如果账号头像是一张清晰的面部特写,它还会把头像处理成动态视频,让嘴型和面部动作精准配合正在念出的台词。

怎么用以及开发者能做什么

项目已经在网页端提供了试用,代码也已经开源。

除了这个演示项目,ElevenLabs 还同步上线了底层 Voice Design 功能的 API。开发者可以通过两个核心端点调用这项能力:一个用于根据文本描述生成 3 个独特的音色预览,另一个用于把选中的音色保存到个人库中以便后续调用。

这意味着开发者不再局限于分析社交主页,可以直接在自己的应用、游戏 NPC 或 AI 智能体里集成按需生成音色的功能。

不过,ElevenLabs 目前还没有公开该 API 的具体计费方式或单次请求成本,底层模型的具体技术细节也暂未披露。

为什么重要

以往想要定制专属声音,要么需要上传几分钟清晰的真实人声录音来克隆,要么得自己绞尽脑汁去调各种声学参数。X to Voice 聪明的地方在于,它用社交网络上现成的公开表达当作人设蓝本,直接跳过了繁琐的手动调参。

对于想给 AI 伴侣、独立游戏角色快速赋予人设声线的开发者来说,这是一个现成且低门槛的方案。我们认为只要后续 API 定价合理,这种基于人格画像一键生成音色的做法,会很快成为虚拟角色开发里的标配工具。

来源 (2)

  1. [1]
    @elevenlabsio(在新标签页打开)原文twitter.com
  2. [2]

每日 AI 内容精选