本文へスキップ
IFAI

オープンソース

MatrAIx:83億のペルソナで人間の行動を再現する評価基盤

公開 拡散指数 48

研究チームがAIシステム評価基盤「MatrAIx-Persona-8B」のプレイグラウンドとタスクライブラリを公開しました。1290の属性次元を持ち、アンケートやWeb、OSアプリなど4つの環境で多様なユーザーの行動を再現できます。リリース前に集団規模で製品テストを行える点が特徴です。

MatrAIx:83億のペルソナで人間の行動を再現する評価基盤
画像:github.com

MatrAIxは、製品やAIシステムを本番公開する前に、多様な仮想ユーザーを用いてテストするためのオープンソース評価インフラです。

画一的なユーザー像を前提にしたテストではなく、背景や心理、能力、行動傾向など1290の属性次元に基づいてペルソナをモデル化し、理論上最大83億人規模の人類行動をシミュレーションすることを目指しています。

何ができるのか

開発者が設計したタスクに対して、特定のペルソナを持つLLMエージェントを自動生成し、多様な条件下での反応を検証できます。

検証環境はアンケート(Survey)、対話型チャットボット(Chatbot)、ウェブブラウザ(Web)、そしてmacOSやiOS、Linuxなどのネイティブアプリ(App)という4つの領域に対応しています。

個別のエージェントの行動ログや操作履歴を追跡できるだけでなく、集団全体としての反応傾向をレポーティングする検証機能も備えています。研究用途向けには、品質選別を通過した100万件のペルソナデータセット「Persona 1M」がHugging Face上で公開されています。

動かし方

プロジェクト全体はMITライセンスのもと、GitHubリポジトリ「MatrAIx-Persona-8B」として公開されています。

動作にはPython 3.12環境(uv推奨)とNode.js 20以上、さらにWebやOSアプリのタスクを実行するためのDockerが必要です。Windows環境の場合はWSL2上での実行が前提となっています。

実際のエージェント動作にはAnthropicやOpenAIのAPIキーが必要ですが、ローカル環境の動作確認だけであればAPIキーなしですぐにスモークテストを実行できます。ローカルでPlaygroundを起動すれば、Web画面からペルソナの抽出やタスクの割り当てを直感的に操作できます。

なぜ重要か

AIエージェントや対話型サービスを開発しているエンジニアにとって、今すぐ試す価値の高いツールです。

単一のプロンプトによる簡易テストと異なり、1290次元の多様性を持った仮想エージェントを大量に走らせることで、リリース前に予期せぬ操作やエッジケースの不具合をあぶり出せます。

ただし開発チーム自身が述べている通り、本作はストレステストや仮説検証のためのシミュレータであり、生身の人間による実際の検証を完全に置き換えるものではない点には留意が必要です。

情報源 (1)

  1. [1]
    github.com(新しいタブで開きます)原文github.com

毎日のAIピックアップ