1931年以前のテキストだけで学習した13Bモデル「Talkie」登場　現代知識ゼロでAIの汎化能力を検証

もし大規模言語モデルの知識を1930年末で完全に断ち切り、現代のインターネットを一切見せずに育てたらどうなるのか。

元OpenAIのAlec Radford氏、元AnthropicのDavid Duvenaud氏、そしてNick Levine氏の研究チームが、その疑問に答える実験的モデル「Talkie」を公開しました。13Bパラメータを持つこのモデルは、1931年以前に出版された書籍、新聞、学術誌、特許など、米国のパブリックドメインに属する2600億トークンの英語文献のみで事前学習されています。

単に昔の口調で会話できる珍しいボットではなく、現代AIが抱える最大の難題であるデータ汚染を完全に排除した検証用プラットフォームです。

コンピュータを知らないAIがPythonを書く

Talkieの最大の強みは、現代のWebデータやプログラミングコードを一切見ていない点にあります。

研究チームは、デジタルコンピュータすら存在しなかった時代のAIが現代のコードを理解できるかテストしました。プロンプト内でごく簡単なPythonの関数例を数個見せ、新しい関数を書かせたところ、Talkieは正しく動作するコードを出力してみせました。

例えばシーザー暗号のエンコード関数を提示した際、Talkieは足し算の記号を引き算に置き換えることで、正しいデコード関数を導き出しました。わずか1文字の修正ではあるものの、文脈から「逆関数」という抽象概念を理解し、未知の記号体系に適応できる純粋な汎化能力を示しています。

また、1930年以降の歴史的出来事を与えてモデルの「驚きの度合い」を測定する実験も行われました。1930年以前の出来事には動じない一方、1950年代から1960年代にかけて急激に驚きが高まり、その後一定の基準に落ち着くという、明確な予測限界の推移が観測されています。

昭和初期の世界観を維持する泥臭いデータ処理

1930年代の知識だけでAIを作る道のりは、技術的な困難の連続でした。

一番の壁はデータ品質です。すべて紙の印刷物からスキャンする必要があるため、従来のOCRによる誤認識が激しく、そのまま学習させた場合の性能は人間が手作業で書き写したテキストの30%にとどまりました。正規表現によるクリーニングで70%まで引き上げ、現在は独自のOCRシステムを開発中としています。

対話モデルへの微調でも工夫が求められました。市販のチャットデータを使うと現代的な受け答えが混入してしまうため、当時の礼儀作法マニュアルや料理本から指示データを抽出。Claude Sonnet 4.6を判定役に据えて強化学習を進めました。

年代判定フィルターを導入したものの完全な遮断は難しく、初期の7Bモデルはルーズベルトのニューディール政策を知っており、今回の13Bモデルも第二次世界大戦や国連の存在をわずかに学習してしまっているといいます。

なぜ重要か

現在のフロンティアモデルは、どれも現代のWebデータを大量に学習しているため、似たような口調になりがちです。さらに深刻なのは、テスト問題が学習データに混ざり込むベンチマーク汚染によって、モデルが本当に推論しているのか単に記憶を吐き出しているのか区別がつかない点です。

Talkieは、完全にデータ汚染のない「真っさらなキャンバス」を研究者に提供します。過去の知識だけでどこまで未来を推論できるのか、科学的な新発見を自力で再現できるのかを厳密にテストできる環境は極めて貴重です。

同一構造のモデルを現代Webデータ（FineWeb）で学習させた比較実験では、Talkieは知識問題で劣るものの、中核となる言語理解や基礎的な計算能力ではほぼ同等の性能を示しました。推論の核となる能力は、現代のネット情報がなくても十分に育つことが裏付けられたと言えます。

ブラウザ上ではすでにTalkieとの会話デモが公開されています。TikTokについて尋ねると、19世紀の機械式カラクリ装置と勘違いしたような返答が返ってきます。研究チームは今夏、1兆トークン以上の文献を用いたGPT-3級モデルの公開を予定しており、AIが持つ本来の思考力を測るための極めて有意義な試みと言えます。