カラー赤外線写真をディープラーニングで実現
ブログにibukaさんといういう方から以下のようなコメントをいただきました。
赤外線撮影した白黒画像をsiggraph2016_colorization(白黒画像をディープラーニングを使ってカラーにするプログラム)でカラーにしてみてください。 やってからのお楽しみということで、具体的な説明は避けますが、人為的な加工とは違い、あくまで可視光撮影された写真として処理されるため、幻想的になります。
ふむふむ、なるほどですねー。
自分は、Raspberry Piで作った自作の赤外線カメラにでカラー赤外線を撮影したりしていました。
これは、わざと弱めの可視光カットフィルタを使って、色を残してやってカラースワップ等の加工をするという手法なのですが、そんなことしなくてディープラーニング使ってモノクロ赤外線写真を一気にカラー化してやることができるというのです。まさかこんなことができてしまうなんて。技術の進歩は素晴らしいですね。
白黒画像をディープラーニングを使ってカラーにする手法siggraph2016_colorization
に関しては、最近論文が発表されて話題になっていました。プログラムはGitHubでも公開されていて、一応誰でも試せるようになっています。
一応と言っているのは、色々セットアップが大変なので、知識のない人が簡単に試すことは正直難しいです。ここらへんのセットアップは私も何度も地獄を見ているので、ちょっと尻込みしていたのですが、なんとWebサービスとしてプログラムを実装して公開してくださっている人がいました。以下のサイトです。
モノクロ画像(カラーでも可)をアップロードすると、数分で着色してくれます。画像サイズに制限ありますが、デモ的に使うには十分。素晴らしいです。
ディープラーニングでカラー化したモノクロ赤外線写真
今まで撮影した、モノクロ赤外線写真やカラー赤外線写真をカラー化してみました。モノクロ写真はもカラー写真も一旦グレイスケール変換されてからカラー化されます。
結果は以下。赤外線写真の独特な雰囲気を残したままカラー化できています。かなり良いですね、個人的にはカラースワップで作るカラー赤外線写真より好きかもしれません。カラー赤外線写真はディープラーニング使った加工に切り替えようかな。
以下で元画像との比較をみることができます。
colorization | Put colors into the B&W photos
colorization | Put colors into the B&W photos
colorization | Put colors into the B&W photos
colorization | Put colors into the B&W photos
colorization | Put colors into the B&W photos
colorization | Put colors into the B&W photos
colorization | Put colors into the B&W photos
colorization | Put colors into the B&W photos
colorization | Put colors into the B&W photos
colorization | Put colors into the B&W photos
colorization | Put colors into the B&W photos
まとめ
中々面白い加工ができてよかったです。以前Raspberry Piで作った赤外線カメラと組み合わせると凄い楽しめそうです。今回はお試しでWebアプリを使ってみましたがRaspberry Piにディープラーニングの組み込みまでやるとオフラインで楽しめて良さそうですね。ただ、問題は時間ですかね、以前Raspberry PiでDeep Dream試したときは1枚5分くらいかかったので、恐らくカラー化も数分かかってしまうのじゃないかと思います。あとセットアップは多分地獄(できないかも)。
でも解決はまさに時間の問題ですかね。大手メーカからディープラーニングデジカメが出てくるのもそう遠くない未来かなと思います。ベンチャーだったらもうありそうですね。個人だったら確実にあるでしょう。というか自分もある意味すでに作ってますし。