Stability AI、3B規模で7B超えのコード特化LLM「Stable Code Instruct 3B」公開
Stability AIは指示チューニング済みコードモデル「Stable Code Instruct 3B」を公開した。わずか30億パラメータながら、コード生成や補完タスクでCodeLlama 7B Instructを上回る性能を発揮する。重みはHugging Faceで公開中で、非商用なら無償で利用できる。
Stability AIは指示チューニング済みコードモデル「Stable Code Instruct 3B」を公開した。わずか30億パラメータながら、コード生成や補完タスクでCodeLlama 7B Instructを上回る性能を発揮する。重みはHugging Faceで公開中で、非商用なら無償で利用できる。
Stack OverflowはAI向け新API「OverflowAPI」を発表し、最初のパートナーとしてGoogleと提携した。Googleは検証済みのQ&AデータをGemini for Google Cloudや管理コンソールに統合し出典付きで回答を提供する。4月のCloud Nextで詳細が披露される予定。
GitHub は「GitHub Copilot Enterprise」の一般提供を開始しました。料金は1ユーザーあたり月額39ドルです。社内の非公開リポジトリや知見を学習・理解し、GitHub.com上でのチャットやPRサマリーの自動生成、Bing連携による最新技術検索を提供します。顧客の非公開コードはモデル学習に使用されません。
米BloombergはAppleが開発ツール「Xcode」向けにGitHub Copilotのような生成AIによるコード補完機能をテストしており、年内にもサードパーティ開発者へ提供する計画だと報じた。Spotlight検索にも自然言語で操作できる対話型AIの導入を検討しており、年内のWWDCで詳細が明かされる可能性がある。
PerplexityはVercelとの提携を発表し、開発者がVercel AI SDKを通じて同社のオンライン検索モデルを利用できるようにした。pplx-7b-onlineなどを組み込むことで、知識のカットオフに縛られないアプリ開発が可能になる。VercelはあわせてAIプレイグラウンドも公開した。
AIスタートアップのAbacus AIが、アリババのQwen-72Bをファインチューニングした大規模言語モデル「Smaug-72B」を公開した。Hugging FaceのOpen LLMリーダーボードで平均スコア80点を超えた初のオープンソースモデルとなり、推論や数学などの複数ベンチマークでGPT-3.5やMistral Mediumを上回っている。
Metaはコード生成向け大規模言語モデル「Code Llama 70B」を公開した。5000億トークンのコードデータで訓練され、10万トークンのコンテキストに対応する。Python特化版や指示チューニング版も用意され、商用利用可能なオープンライセンスで提供される。
OpenAIは新埋め込みモデル「text-embedding-3-small」および「large」を発表した。検索性能が向上したほか、次元数を削減して保存コストを抑える機能に対応した。あわせてGPT-3.5 Turboの入力価格を50%引き下げ、コード生成の手抜きを抑えた新GPT-4 Turboプレビューも提供する。
GitHub は「GitHub Copilot Chat」を Visual Studio Code および Visual Studio 向けに一般提供開始した。GPT-4 を搭載し、エディタ内で自然言語によるコード解説や脆弱性検出、テスト作成を支援する。既存の Copilot プラン契約者は追加費用なしで利用できる。
Googleは「Google Colab」のAIコード支援機能を無料プランを含む全ユーザーへ提供拡大すると発表した。対象地域のユーザーは自然言語によるコード生成や、実行エラーの原因と修正案をAIが提示する機能を利用できる。提供は2024年まで続く見込みだ。
Googleは開発者や企業向けに「Gemini Pro」およびマルチモーダル対応の「Gemini Pro Vision」APIの提供を開始した。32Kのコンテキスト長や関数呼び出しに対応。Google AI Studio経由で毎分最大60リクエストまで無料で利用できる。
Microsoftは27億パラメータの言語モデル「Phi-2」を公開した。教科書品質の厳選データと知識転移により、コード生成や数学推论で25倍大きいLlama-2-70Bを上回る。小規模モデルでも訓練データの質次第で高度な創発的能力を発揮できることを示した。
YouTuberのGreg Technology氏がGPT-4Vを使い、編集による演出疑惑が持たれていたGoogle Geminiのプロモ動画を再現した。リアルタイムの動画入力で手ぶりやイラストを判別させ、動作するコードをGitHubに公開している。
AWSは業務特化型の生成AIアシスタント「Amazon Q」を発表した。社内データやAWS環境と連携し、コーディング支援や障害調査、社内情報の検索を行える。ユーザーごとのアクセス権限に厳格に対応し、顧客データをモデル学習に利用しない設計が特徴だ。現在プレビュー版を提供している。
AI検索エンジンのYou.comは、MetaのLlama 2などにリアルタイムWeb検索機能を提供する新APIを発表した。従来の検索APIと異なり長文スニペットを返せるのが特徴で、Web、ニュース、RAGの3種を用意。AnthropicやCohereが既に導入している。
GitHubはGitHub Advanced Security向けに3つのAI機能プレビューを発表した。CodeQLによるJavaScriptとTypeScriptの警告に対しAIが修正コードを自動生成してPR内で即時反映できるほか、AIを活用して非定型の流出パスワード検知や正規表現の自動生成が行える。
MetaはHugging FaceおよびScalewayと提携し、オープンソースAIスタートアップ育成プログラムを発表した。パリのSTATION Fを拠点に5社を支援し、FAIR研究者による技術指導や計算資源、開発ツールを提供する。
XboxはInworld AIとの複数年にわたる提携を発表した。プロンプトからスクリプトや対話ツリーを生成するAIデザインCopilotや、ゲーム内で物語やクエストを動的生成するキャラクター実行エンジンの開発を進め、あらゆる規模のクリエイターへ提供を目指す。
OpenAIは開発者会議「DevDay」でGPT-4 Turboを発表した。128Kトークンの長文に対応しつつ、入力コストを3分の1、出力を2分の1に低減。あわせて検索やコード実行を標準統合したAssistants APIも公開し、独自エージェントの開発を大幅に簡素化した。
PhindはHumanEvalで74.7%を記録し、GPT-4を上回るプログラミング特化モデルを発表した。NVIDIAのTensorRT-LLMとH100を活用して毎秒100トークンの高速出力を実現し、16kコンテキストに対応する。重みはHugging Faceでオープンソース公開され、VS Code拡張機能などでも利用できる。