ByteDance、512K文脈対応のオープンソースモデル「Seed-OSS-36B」を公開

ByteDanceのSeedチームは、360億パラメータの大規模言語モデル群「Seed-OSS-36B」をHugging Face上でオープンソース公開しました。ネイティブで512Kトークンの長大なコンテキストに対応し、推論の深さを細かく調整できる「思考バジェット」機能を備えています。

ライセンスは寛容なApache-2.0を採用しています。企業はライセンス料やAPI費用を一切支払うことなく、社内ツールから対外的な商用サービスまで自由に組み込むことができます。

何ができるのか、どう動くのか

今回公開されたのは3つのバリアントです。まずベースモデルが2種類あり、合成指示データを追加してベンチマーク性能を高めた汎用向け版と、合成データのバイアスを排除して研究用に提供される非合成版に分かれます。さらに、タスク実行と指示追従に特化した後処理済みの「Seed-OSS-36B-Instruct」が用意されています。

アーキテクチャは64層構成で、Grouped Query Attention（GQA）、SwiGLU活性化関数、RMSNorm、RoPE位置エンコーディング、15万5000トークンの語彙サイズを採用しています。

最大の特徴は、ネイティブで対応する512Kトークンの文脈長です。これは約1600ページの書籍に匹敵し、OpenAIのGPT-5シリーズが持つ制限の2倍にあたります。長文脈性能を測るRULERベンチマーク（128K長）では94.6を記録し、オープンソースモデルとして最高値をマークしました。

もう一つの目玉が思考バジェット機能です。回答を出力する前にモデルがどれだけ推論ステップを踏むかを開発者が指定できます。512トークンの倍数で設定でき、0に指定すると直接回答モードとなってレイテンシを抑えられます。

性能面でも、Instruct版が数学ベンチマークのAIME24で91.7％、コーディングのLiveCodeBench v6で67.4を記録し、同規模のオープンソース首位級の数値を叩き出しています。

試し方と環境

すべてのモデル重みはHugging Faceから直接ダウンロード可能です。36B規模かつ長大な文脈をフル活用するには相応のGPUクラスタが必要となりますが、思考バジェットを0または低めに抑えることで運用の柔軟性を確保できます。

なぜ重要か

大量のコードベースや長文ドキュメントを自前のインフラで安全に解析したい開発者にとって、即戦力になる選択肢です。

完全な商用利用を許諾しつつ、推論コストをトークン単位でコントロールできる仕組みを最初から組み込んだ点は非常に実践的と言えます。閉域環境で高度な推論を行いたい現場は、試す価値が十分にあります。