Meta、安全なAI開発を支援する「Purple Llama」と「Llama Guard」を発表
Metaはオープンソースの生成AIを安全に構築するためのプロジェクト「Purple Llama」を発表した。LLM向けサイバーセキュリティ評価ツールと、有害な入出力を検知・遮断する基盤モデル「Llama Guard」を提供し、研究および商用利用の両方でオープンに利用できる。
Metaはオープンソースの生成AIを安全に構築するためのプロジェクト「Purple Llama」を発表した。LLM向けサイバーセキュリティ評価ツールと、有害な入出力を検知・遮断する基盤モデル「Llama Guard」を提供し、研究および商用利用の両方でオープンに利用できる。
Apple の機械学習チームはApple Silicon 向けに設計された機械学習フレームワーク「MLX」とデータライブラリ「MLX Data」を GitHub で静かに公開した。PyTorch や Jax を参考にしつつ、CPU と GPU がデータを移動せず扱えるユニファイドメモリの利点を活用。Mac 上で Llama や Stable Diffusion などの大規模モデルの訓練や実行が可能になる。
Metaは感情や抑揚を保ちながら翻訳する新システム「Seamless」を公開した。約2秒の遅延で発話中に訳す「SeamlessStreaming」と、声のトーンや話速を維持する「SeamlessExpressive」で構成される。モデル群はSeamlessM4T v2を基盤としており、オープンソースとして提供される。
米TechCrunchはHugging Faceの2人組チーム「H4」が対話型AIのオープンソース化を推進していると報じた。Zephyr-7B-αの開発を手がけ、1000基超のA100 GPUを活用しつつ、アライメント手法やコードをコミュニティに無償公開している。
李開復氏が立ち上げたAIスタートアップ01.AIがオープンソースの言語モデル「Yi-34B」を公開した。Hugging Faceの事前学習ベースモデルランキングでMetaのLLaMA 2を抜いて首位を獲得。同社評価額は10億ドルを突破しており、李氏は少なくとも1年分の半導体を確保したと明かしている。
MetaのAI研究部門を率いるジョエル・ピノー氏は、既存のオープンソースライセンスではAIモデルが抱える著作権や安全性のリスクに対応できないと指摘した。Llama 2の規約制限には「真のオープンソースではない」との批判もあるが、OSIも現行規格の限界を認め、AI向けの新たな定義策定を進めている。
Replitはコード補全モデル「Replit Code V1.5 3B」をHugging Faceでオープンソース公開した。30億パラメータながら1兆トークンで訓練され、30のプログラミング言語に対応。微調整後はCodeLlama 7Bを上回る性能を発揮し、商用利用も可能だ。
NVIDIAはLLM推論を大幅に高速化するオープンソースライブラリ「TensorRT-LLM」を発表した。In-flight batchingやFP8量子化により、H100上でA100比最大8倍のスループットを達成し、Llama 2も4.6倍高速化する。Python APIを通じて手軽に並列処理を実装でき、データセンターの運用コスト削減に貢献する。
Hugging FaceのDiffusersチームがSDXL向けT2I-Adapterの公式サポートを発表した。ControlNetと比較してパラメータ数は79M、容量は158MBと約94%軽量化。低スペックなGPU環境でも高速かつ精密な画像制御が可能になる。
TIIはHugging Faceで1800億パラメータのオープン言語モデル「Falcon 180B」を公開した。3.5兆トークンで事前学習され、Llama 2 70Bを上回りPaLM 2-Largeに匹敵する性能を示す。商用利用には厳格な制限があり、推論にはA100が8枚必要だ。
Metaは自己教師あり学習の視覚モデル「DINOv2」をApache 2.0ライセンスへ変更し、商用利用を解禁した。セグメンテーションなどの派生モデルに加え、視覚モデルの偏りや公平性を測定する3.2万枚規模の評価用データセット「FACET」もあわせて提供する。
2023年8月、研究チームがICCV 2023採択論文「StableVideo」のコードを公開した。Text2LIVEとControlNetをベースに構築され、テキスト指示によるフレーム間の整合性を保った動画編集が可能で、メモリ最適化により14GB前後のVRAMでも動作する。
Alibabaは金曜日、画像を読み取るオープンソースの視覚言語モデル「Qwen-VL」と「Qwen-VL-Chat」を公開した。高解像度画像の認識に対応し、街頭看板の翻訳や写真からの数式計算、複数画像によるストーリー生成が可能。ModelScopeやHugging Faceで提供される。
Metaはコード生成・補完に特化した大規模言語モデル「Code Llama」を公開した。Llama 2をベースに追加学習を行い、最大70Bのパラメータと最大10万トークンのコンテキストに対応。無料のコミュニティライセンスで提供される。
Metaは音声とテキストの相互翻訳に対応したマルチモーダルAI「SeamlessM4T」を発表した。約100言語の音声認識やテキスト翻訳に加え、36言語への音声対音声翻訳を単一モデルで処理する。研究ライセンスで一般公開され、27万時間の音声・テキスト対照データセットのメタデータも提供される。