身体を楽器にする「Skeleton Sequencer」
私が昔から作り続けている身体を楽器にするソフト（システム）です。どんな楽器かは以下動画参照ください。
初期バージョンは初代Kinectを使う大掛かりなものでした。システムの構成や仕組みなどは以下記事参照ください。
それが、AIとPCの進歩でJetson Nanoでできるようになり
そして、mediapipeの登場で、ついにRaspberry Piでも動くようになりました。
コードはGitHubにアップしてあります。以下参照ください。PC(X86)でもラズパイでも動きます。
なお、出力はMIDIなのでMIDIを受けて音を出すものが必要です。今回はポケット・ミクを使用しています。知識ある人なら、コードをいじれば、ソフトウェアMIDI音源でも音を出すことできると思います。
Mediapipeのラズパイ対応
Mediapipeは、クラスプラットフォームでリアルタイムに動画やストリーミングに対してAI画像処理を実現するライブラリです。
最近話題になったオリンピックのピクトグラムになれるアプリにも使われています。このMediapipe、Raspberry Pi（ラズパイ）で動かすのは一昔前は、なかなか大変だったのですが、ピクトグラムのアプリでときの人となった@KzhtTkhsさんとビルド神の @PINTO03091さんのおかげで、めっちゃ簡単にラズパイで動くようになったのです。詳しくは以下記事参照ください。
昔は、キネクト（Depthカメラ）とノートPCが必要だった総額うん十万のシステムが、今や1万もしないラズパイとカメラだけで実現できちゃうのだから、隔世の感がありますよね。
Mediapipeの姿勢推定の制約で1人しか対応できないのですが、@KzhtTkhsさんの以下リポジトリを参考にすれば複数人対応もできちゃいそうな予感ですね。
まとめ
AI姿勢推定で身体を楽器にする「Skeleton Sequencer」を作ってみました。クオリティ上げてライブとかやってみたいなーと思いつつ、プロトタイプを作って放置してしまう悪いクセが出ています。
今度こそ、クオリティ上げてライブ的なものをやってみたいと思います、今年中くらいには。という固い決意をブログで表明してみるとやる気がでるんじゃないかというテストです。
というわけで複数人対応とクオリティアップのプルリクエスト随時受付中です（最後は他人任せw）
