本文へスキップ
IFAI

画像・動画生成

Hedraが全モーダル動画モデル「Character-3」とStudioを発表

公開 拡散指数 47

Hedraは画像・テキスト・音声を同時処理するAIモデル「Character-3」と制作基盤「Hedra Studio」を発表した。音声に合わせた口の動きや表情を一括で同期生成でき、複数のツールを行き来する手間を解消している。

動画生成AIで人物を喋らせる作業は、これまで面倒の連続でした。画像生成ツールでキャラクターを作り、音声合成ソフトで声を用意し、別のリップシンクツールで無理やり口元を合わせるという分業が一般的だったからです。

Hedraは3月6日、画像、テキスト、音声を同時に処理できるオムニモーダルAIモデル「Character-3」と、制作プラットフォーム「Hedra Studio」を発表しました。従来のマルチモーダル処理のように段階を分けるのではなく、すべての要素を最初から一つのモデルでまとめて処理するのが特徴です。

音声と感情を同時に読み解くキャラクター表現

従来のツールで違和感が出やすかったのは、音声のトーンと顔の表情が別々に計算されていたためです。Character-3は、画像、テキスト、音声の各データを同時に読み込みます。

これにより、単に音に合わせて口を開閉させるだけでなく、台本のニュアンスや音声のトーンに合わせて、眉の動きや首の傾きといった自然な表情変化を自動で連動させます。テキスト指示だけで背景シーンを動的に生成する機能も備えています。

同時に公開されたHedra Studioは、これらの処理を1つの画面で完結させるプラットフォームです。リアルタイムプレビューに対応し、業界内の主要な外部AIモデルとも連携できるほか、開発者向けにAPIも提供されます。

1000万ドルの調達で競合の牙城に挑む

Hedraは、CEOのMichael Lingelbach氏とCTOのAlex Bergman氏が創業したスタートアップです。これまでにIndex Ventures、Abstract、A16Z Speedrunや、Bilawal Sidhu氏、Jon Barron氏といった個人投資家から1000万ドルのシード資金を調達しています。

動画AIの業界において、1000万ドルという額は決して大きくありません。競合のRunwayは累計2億3700万ドル、Picaは8000万ドル、Lumaは7000万ドルを調達しており、アバター生成大手のHeyGenも6000万ドル、Haiperも1920万ドルを確保しています。

資金力で劣るHedraは、長尺動画のキャラクター表現という明確なユースケースに特化することで差別化を図っています。

なぜ重要か

企業のマーケティング担当者や個人クリエイターにとって、Character-3は動画制作の工数を劇的に減らす実用的な選択肢になります。これまで複数のツールを行き来していた解説動画や教育コンテンツの制作が、音声とテキストの入力だけで完結するようになります。実用的なキャラクター動画を低コストで量産したいなら、今すぐ試す価値があります。

業界の視点で見ると、Hedraの戦い方は非常に合理的だと考えられます。RunwayやLumaのように映画的なシネマティック映像で真っ向勝負するのではなく、HeyGenが握る実用的なトーク動画の市場を、より表現力の高い「オムニモーダル」技術で切り崩しにかかっているからです。

ただし懸念点もあります。画像、音声、テキストを一体で計算するオムニモーダル処理は、計算負荷が高くなりやすい傾向があります。1000万ドルの資金でどこまでインフラコストを抑え、生成スピードを維持できるかが今後の課題になりそうです。

情報源 (2)

  1. [1]
    @hedra_labs(新しいタブで開きます)原文twitter.com
  2. [2]

毎日のAIピックアップ