Kimi、2.8兆パラメータのMoEモデル「Kimi K3」をオープンソース公開

Kimi K3は、Moonshot AIがHugging Face上で重みを完全公開したオープンソースの巨大MoE（Mixture-of-Experts）モデルです。総パラメータ数は2.8兆に達し、ネイティブな視覚理解機能と100万トークンのコンテキストウィンドウを備えています。

大量のドキュメントや動画、長大なログデータをオープンな環境で安全に扱いたい場合、現時点で最も巨大かつ強力な選択肢となります。

Kimi K3で何ができるか

K3の大きな特徴は、2.8兆という巨大な総パラメータを持ちながら、推論時にアクティブになるパラメータを1040億に抑えている点です。

画像や映像の処理にはMoon VICビジョンエンコーダを採用し、外部プラグインに頼らないネイティブな視覚処理を実現しました。公式の技術レポートによると、新しいアーキテクチャによって計算単位あたりの知能が従来の2.5倍に向上したとされています。

重みの提供にとどまらず、Kimiは高速アテンションカーネル、MoE通信ライブラリ、自律型エージェントの大規模実行基盤といったインフラスタック全体もオープンソース化しています。

動作環境と動かし方

内部構造には、独自設計のKimiko delta attentionやattention residuals機構が導入されており、超長文処理の効率化が図られています。

ただし、動かすためのハードルは極めて高いのが実情です。無圧縮のフルウェイトはHugging Face上で約1.56TBの容量があり、実行には複数のエンタープライズ向けGPUを並列稼働させる必要があります。

一方で、コミュニティによる軽量化も進んでいます。Unslothなどが提供する量子化版では、1-bitのGGUF形式で約594GBまで削減されています。依然として個人向けPCで動くサイズではありませんが、自社サーバーへの導入難易度は確実に下がっています。

ウェイトはHugging Faceの「moonshotai/Kimi-K3」から入手可能で、技術レポートもGitHub上で閲覧できます。

なぜ重要か

自社インフラに十分な計算リソースを持つ企業や研究機関にとって、K3は商用APIに依存せず最前線のマルチモーダル長文モデルを自前運用できる強力な基盤になります。

一方で、個人開発者が手元で気軽に試すにはハードウェアの壁が高すぎます。私たちは、このモデル自体の直接利用にとどまらず、公開された高速カーネルやエージェント基盤の知見がコミュニティ全体にどう波及していくかに注目しています。