AMD、初の小型言語モデル「AMD-135M」を発表：投機的デコードで推論を高速化
AMDは、初となる小型言語モデル「AMD-135M」シリーズを発表した。Llamaベースの通常版とコード特化版の2種を用意し、自社のInstinct MI250環境で事前学習を実施。投機的デコードによるドラフトモデルとして推論を加速させ、企業のオンプレミス導入を狙う。
AMDは、初となる小型言語モデル「AMD-135M」シリーズを発表した。Llamaベースの通常版とコード特化版の2種を用意し、自社のInstinct MI250環境で事前学習を実施。投機的デコードによるドラフトモデルとして推論を加速させ、企業のオンプレミス導入を狙う。