ディープラーニングで自分の身体を楽器にする「ヒューマンシーケンサー2.0」の紹介

f:id:karaage:20180507235110p:plain:w640

「ヒューマンシーケンサー」とは

 身体を楽器にしてしまおうというコンセプトの自作ソフトです。元々の発想は、 YAMAHAさんのTENORI-ON(テノリオン)という楽器を身体を使ってできたら面白いのじゃないかというところから来ています。

 昔作ったPV的な動画は以下参照下さい。

 昔は、以下の記事で解説したようにKinectを使っていました。

 今回は、Kinectを使わず、画像処理にディープラーニングを用いることで単眼カメラだけで実現しています。

 自分が遊んでいる例

karaageさん(@karaage)がシェアした投稿 -

 娘が遊んでいる例。Mac Bookの画面をテレビに映しています

karaageさん(@karaage)がシェアした投稿 -

 単眼カメラでの骨格検出に関しては、以前以下の記事で紹介しました。

 上記記事のソフトでは、GPUのない普通のMacでは処理が遅く、ちょっと楽器として使うには苦しかったのですが、その後リアルタイムに骨格検出できるソフト「tf-pose-estimation」が出てきて「使える!」と思ったので、ゴールデンウィークの休み1日を使って「ヒューマンシーケンサー2.0」として作りました。ProcessingのコードをPythonに移植しています。半日もあればできると思っていたのですが、昔自分で作ったProcessingのコードが我ながら意味不明で移植に思ったより時間がかかってしまいました…

「ヒューマンシーケンサー2.0」の使い方

 「tf-pose-estimation」をforkして以下のリポジトリを作りました。

 詳しいセットアップ方法や、ソフトを作った時の流れ、改造のポイントなどを有料noteに書いてみました。もし「自分も試してみたいけど、セットアップちょっと自信がない」という方や「ディープラーニングのOSSを活用してアプリを作るのって、具体的にどういう風に作れば良いのだろう?」と思った方は購入していただけましたら幸いです。

 ソースコードも有料noteだけに書こうかなと思ったのですが、OSSを活用しているのでやはりOSSにもコミットせねばということでソースコードは上記のリポジトリで公開しています。なので、ある程度詳しい人は有料note買わなくても動かせると思いますのでご自由にお使いください。その中で、もし面白いと思ったり、気に入っていただけた方いたら、投げ銭的に購入いただけるととても嬉しく思います。

まとめ(ヒューマンシーケンサー以外の応用例)

 今回は身体を楽器にするということをやってみましたが、この技術色々応用できそうですね。パッと思いつくところでは、PCと単眼カメラだけでVTuberになるための簡易セットみたいなのを作れそうです。というか4年くらい前(まだVTuberという言葉も無かった頃)に、Kinectでそんなことをやっているので、このソフトを移植すればできそうです(頭の中では出来てる)。

 多分1日頑張れば作れるので、需要があれば作ってみようかなと思っていたのですが、Twitterであんまり反応無かったので多分作らないかな…もし20人くらいから反応あったら作りますのでtwitterやコメントで教えて下さい。

 昔Kinectで作った以下のようなアプリも、ディープラーニング使うとPCと単眼カメラだけでできそうです。

関連記事