M5Stack StopWatchでAIアシスタントのアバターを持ち歩ける「xangi-stopwatch」を開発しました

積みマイコンを持ち歩けるAIの相棒にしました

 M5Stack StopWatchという、ストップウォッチの形をしたマイコンがあります。ドラゴンボール世代の方には、ドラゴンレーダーと言った方がしっくりくるかと思います。

 このデバイスで、AIのキャラクターと音声で会話できる「xangi-stopwatch」というソフトを作りました。私が開発しているAIアシスタントソフト「xangi」の拡張機能として動きます。

 動いている様子は、以下動画を参照ください。

 手のひらの中にいつも話しているAIがいると、パソコンで文字を打っているときとは、また違った楽しさがあります。

引き出しから出てきたStopWatch

 私は面白そうなマイコンやデバイスを見つけると、とりあえず買って積んでおくことを得意としています。いわゆる積みマイコンです。

 このStopWatchも、以前一度、xangiの動作状況を確認するモニターにしてみたことがありました。ただ、自分の中であまり使い道が定まらず、そのまま引き出しの奥で眠っていました。

 再び開発しようと思ったきっかけは、テレビで見たAI入りのクマのぬいぐるみです。芸人さんがぬいぐるみを介して海外の方とコミュニケーションを取っている様子が面白く、これを手軽に実現したいと思いました。

 私もスタックチャンとAIを連携させていましたが、家の中だとキーボードで打つ方が早かったり、作業結果を全部読み上げられると少し邪魔だったりして、最近は作業完了の通知に使うことが多くなっていました。

 もっと気軽に持ち歩いて、話したいときに話しかける使い方ならどうだろう。そこで思い出したのがStopWatchでした。小さな本体にマイク、スピーカー、画面がそろっていて、AIと会話する窓口としてちょうどよさそうでした。

手元の端末から自宅のAIにつながる

 仕組みは上の図のような感じです。StopWatchの中だけでAIを動かしているわけではなく、PCやサーバー側で動いているxangiにつないでいます。本体で録音した声を文字にし、AIの返答を音声にして本体へ返します。

 もともとPC用に作っていたxangi-avatarの仕組みをベースに、StopWatchの丸い画面にもキャラクターを表示できるようにしました。

 こちらは標準アバターの画面イメージです。実機の写真ではなく、ソフトの描画コードから生成したサンプルです。自分の好きなキャラクターの画像を設定することもできます。

 私は、普段いろいろな作業を頼んでいる「borot」と、歴史の話をしてくれる「文香」さんを切り替えて使っています。声と顔がつくと、いつものAIと話している感じが増す気が心無しかします。機能だけでなく、愛着が湧くところが気に入っています。

外へ持ち出して話してみる

 無線接続を設定すれば、スマートフォンのテザリングとTailscaleを使って、出先から自宅のxangiにつなげます。実際にお昼ご飯を食べに外へ出たときにも試してみて、通信できることを確認しました。

 パソコンから少し離れて休憩しているときにも、手元に取り出して話しかけられます。スマートフォンでAIを使うのとは少し違う、専用の道具を持っている楽しさがあります。

 ただ、返答までには待ち時間があります。人と話すようなテンポのリアルタイム会話には、まだ遠いなというのが使ってみた感想です。

 また、持ち歩くと紛失時のことも気になります。私のようにPC上の作業をいろいろ任せているAgentにつなぐ場合、端末を拾った人からもパソコンを操作できてしまう可能性があります。最悪私のPCのデータをすべて吹き飛ばす「バルス」ができてしまうので、かなりのセキュリティーホールかもしれません。

AIの利用量も確認できます

 会話以外に、AIの利用量や実行中のタスクを確認する画面もあります。本体を左右にスワイプすると、アバター、利用量、タスクの画面を切り替えられます。

 上の画像も描画コードから生成したサンプルで、表示されている数値は私の実測値ではありません。水がたまるような見た目で利用量を表示します。最初に作りかけていたモニター機能も、おまけとして復活した感じですね。

xangiの拡張からセットアップする

 必要なのはM5Stack StopWatch本体と、データ通信のできるUSBケーブル、それからAIエージェントを使える状態にしたxangiです。xangi自体が初めての場合は、先に以下のQuickstartから導入してください。

xangiの導入手順

 最初は、StopWatchをセットアップに使うPCへUSBで接続して試すのがおすすめです。

拡張一覧からxangi-stopwatchを追加する

 xangiのWeb画面で「拡張」を開き、「xangi-stopwatch」の「追加」を選びます。

 このスクショは私の環境の導入済み画面です。初回の「追加」の代わりに「開く」「セットアップ」が表示されています。導入途中から再開する場合は、この「セットアップ」を使います。

xangi-stopwatchセットアップ

 専用のセットアップ会話が開くので、AIの案内に沿って、StopWatch用ファームウェアの書き込み、接続設定、音声認識・読み上げの準備を進めます。

 ファームウェアを書き込むと、それまでStopWatchで使っていたアプリは置き換わります。また、音声認識などの処理はPC・サーバー側で行うので、本体を買うだけで単独動作するものではありません。

 細かい手順はソフト側で更新しているので、こちらを参照してください。私の環境では使えていますが、ほかの環境での導入まで広く検証できているわけではありません。

詳しいセットアップ手順

Agentの設定方法

 準備ができたら「拡張」→「xangi-stopwatch」→「開く」で設定画面へ進みます。会話するAgent、声、顔の画像を設定し、「このキャラを保存」を押します。

xangi-stopwatchの使い方

 使い方はシンプルで、Aボタンを押して録音を始め、話し終わったらもう一度Aボタンを押して送信します。本体から返答が聞こえるところまで確認できれば準備完了です。録音中のBボタンは取り消し、待機中のBボタンはキャラクターの切り替えです。

 外で使う場合は、USBでの確認後に無線接続を設定します。USB用ファームのままケーブルを抜いても無線には切り替わらず、Tailnet対応のファームと設定が必要です。Wi-Fiは2.4GHzのみなので、iPhoneのテザリングでは「互換性を優先」をONにしてください。

xangi-stopwatchの使い方

まとめ

 引き出しで眠っていたM5Stack StopWatchを、持ち歩けるAIの相棒にした話でした。

 最初にモニターとして作ったときはあまり使わなかったのですが、顔と声がついて会話できるようになると、手元に置いておきたくなるのが面白いところです。応答の速さなど改善したい部分はありますが、個人的にはお気に入りのデバイスになりました。

 同じように積みマイコンがある方は、いつも使っているAIの窓口にしてみると、新しい使い道が見つかるかもしれません。良かったら使ってみてください。

関連記事