Microsoftが13Bモデル「Orca」発表：GPT-4の思考プロセスを模倣
Microsoft Researchは130億パラメータの言語モデル「Orca」を発表した。GPT-4の段階的な思考プロセスを模倣して学習することで、BBH推論ベンチマークでChatGPTに匹敵する性能を達成した。巨大なデータセンターに頼らず手元で動作する小型モデルでも、高度な推論が可能になることを示している。
Vicuna
Stability AI、RLHFで強化学習した初のオープンソース対話モデル「StableVicuna」公開
Stability AIは人間のフィードバックによる強化学習（RLHF）を適用した初の大規模オープンソース対話モデル「StableVicuna-13B」を公開した。Vicuna-13BをベースにtrlXフレームワークとAnthropicなどの公開データセットで学習。ChatGPT同様のRLHF手法をオープンソース界に持ち込んだ点が注目される。Hugging Faceで差分重みが配布されている。