1931年以前のテキストだけで学習した13Bモデル「Talkie」登場 現代知識ゼロでAIの汎化能力を検証
元OpenAIやAnthropicの研究者らが、1931年以前の文献2600億トークンのみで学習した13B言語モデル「Talkie」を公開した。現代のWebデータ汚染が完全に排除されており、コンピュータを知らないAIがPythonコードを類推できるかなど、純粋な汎化性能の測定が可能になる。
元OpenAIやAnthropicの研究者らが、1931年以前の文献2600億トークンのみで学習した13B言語モデル「Talkie」を公開した。現代のWebデータ汚染が完全に排除されており、コンピュータを知らないAIがPythonコードを類推できるかなど、純粋な汎化性能の測定が可能になる。