hunch:GoogleのEmbeddingGemma 2を活用し、CPU上でミリ秒級のセマンティック判定を行うOSS
オープンソースの「hunch」は、GoogleのEmbeddingGemma 2を基盤に、一般的なCPU上でミリ秒単位の判定を行う軽量システムです。大規模モデルからリアルタイムに学び、ツール実行監視やログ分類などの高頻度タスクをわずか22ミリ秒で肩代わりします。GPU不要でAPIコストを大幅に削減できます。
オープンソースの「hunch」は、GoogleのEmbeddingGemma 2を基盤に、一般的なCPU上でミリ秒単位の判定を行う軽量システムです。大規模モデルからリアルタイムに学び、ツール実行監視やログ分類などの高頻度タスクをわずか22ミリ秒で肩代わりします。GPU不要でAPIコストを大幅に削減できます。
Googleは完全オフラインで動作する実験的ノートアプリ「Google AI Edge Foresight」をmacOS向けに無料公開した。オンデバイスモデル「EmbeddingGemma 2」を採用し、Apple Silicon搭載Macで会議の文字起こしや要約、手書きメモの清書、ローカルファイルへの質疑応答が行える。データは外部に送信されない。
Googleは7.4億パラメータの端末向けマルチモーダル埋め込みモデル「EmbeddingGemma 2」をApache 2.0で公開した。テキスト、コード、画像、音声、動画を同一空間に統合。Pixel 11 Pro上なら567MBのRAMで動作し、完全オフラインな検索やRAGをローカル環境で構築できる。