Microsoftが13Bモデル「Orca」発表：GPT-4の思考プロセスを模倣
Microsoft Researchは130億パラメータの言語モデル「Orca」を発表した。GPT-4の段階的な思考プロセスを模倣して学習することで、BBH推論ベンチマークでChatGPTに匹敵する性能を達成した。巨大なデータセンターに頼らず手元で動作する小型モデルでも、高度な推論が可能になることを示している。
Microsoft Researchは130億パラメータの言語モデル「Orca」を発表した。GPT-4の段階的な思考プロセスを模倣して学習することで、BBH推論ベンチマークでChatGPTに匹敵する性能を達成した。巨大なデータセンターに頼らず手元で動作する小型モデルでも、高度な推論が可能になることを示している。