Gemini Nano素振り

作成日：2024/09/14

目標

Gemini Nano の素振りを行い、基本的な操作を習得する。

Gemini Nano とは

Gemini NanoというLLMがデスクトップクライアントに組み込まれた。 これによって、クライアントサイドのみで動作するAI機能を作成することができる。

https://developer.chrome.com/docs/ai/built-in

使い方

動作環境の設定

Google Chromeのインストール

対応バージョンは未調査だが、自分が検証に使用した下記バージョンでは動作が確認できた。 下記のバージョン以上のGoogle Chromeをインストールする。

  • Google Chrome Version 130.0.6710.0 (Official Build) dev (x86_64)

Gemini Nanoに関する機能のフラグを有効化

chrome://flags/にアクセスし、下記の2つのフラグを有効にする。

  • Prompt API for Gemini Nano
  • Enables optimization guide on device

コンポーネントをダウンロードする。

chrome://components/にアクセスし、下記をダウンロードする。

  • Optimization Guide On Device Model

上記のメニューが表示されない場合は、下記をコンソールで実行すると表示された（理由は不明）。

await window.ai.assistant.create()

コード

下記のコードで、Gemini Nanoを使用することができる。

const session = await window.ai.assistant.create();
const res = await session.prompt(text);
console.log(res);

まとめ

クライアントサイドのみで容易に組み込めて検証可能なところが非常に便利だと感じた。

©Sey