マイクロソフトが27億引数の「Phi-2」公開、25倍サイズのモデルを凌駕
Microsoftは27億パラメータの言語モデル「Phi-2」を公開した。教科書品質の厳選データと知識転移により、コード生成や数学推论で25倍大きいLlama-2-70Bを上回る。小規模モデルでも訓練データの質次第で高度な創発的能力を発揮できることを示した。
Microsoftは27億パラメータの言語モデル「Phi-2」を公開した。教科書品質の厳選データと知識転移により、コード生成や数学推论で25倍大きいLlama-2-70Bを上回る。小規模モデルでも訓練データの質次第で高度な創発的能力を発揮できることを示した。