SVM（サポート・ベクタ・マシン）とpythonで空の写真から天気を判定させてみる

f:id:karaage:20170831173544p:plain:w640

SVM（サポート・ベクタ・マシン）

　SVMとは、機械学習の分野で、多数のデータを複数のクラスに分類する問題によく使われるアルゴリズムです。他にも2つのクラスの分類問題に有効なロジスティック回帰というものもあるらしいですが、3つ以上のクラスに分類するときにはSVMが効率がよいのでよく使われる（らしいです）。

　SVMに関しての概要は、以下の記事がわかりやすそうです。

　あと、ちょっとクセは強いですが、以下の記事も面白く、分かりやすいかもしれません

　SVMを含む機械学習手法と、ディープラーニングとの関係を知りたい方は、以前書いた以下記事を参考にしてみて下さい。

　今は、認識や判別というと、とにかくディープラーニングという印象がありますが、一昔前は認識・判別といえばSVMでした（らしいです）。ディープラーニングより多くの場合、結果がわかりやすい、少ないデータでうまくいく、計算量が少ないといった特徴ががあるため、今でも好んでSVMを使う人は多いようです。というわけで一度やってみることにしました。参考にした書籍などは、本記事の最後に紹介しますので、よろしければ参考にしてみて下さい。

　本記事では、参考書籍をもとにscikit-learnというpythonのパッケージを用いて、MacとRaspberry Piで動かしました。

SVMを使ったお天気の判定

　今回は例題として、空の写真から天気の判定をしてみようと思います。空の画像をもとに、青空、曇り空、夜空を判定させるだけです。ちなみに、今回そんなにうまくいってないので、結果には期待しないでくださいw あくまでSVMの使い方がメインです。

データ準備

　空の写真のデータ取得。最初は、涼風真世さんのブログからダウンロードしていこうと思ったのですが、途中で精神を病みそうになったので、技術の力に頼ることにしました。

　そうして、生まれたのが以下の闇のスクリプトです。

　以下のようなコマンドを実行すると、青空写真がどんどんネットから集まってきます。我に力を…

$ python get_images_yahoo.py "青空"

pythonでSVMを実行するためのセットアップ方法

　SVMはpython上で行います。SVMを使えるライブラリは複数あります。SVM専用のライブラリであるLIBSVMと機械学習の総合ライブラリであるscikit-learnの両方試したのですが、ネット上での説明例が豊富で、データセットのダウンロードができる、他の機械学習にも応用ききそうという理由で、自分はscikit-learnが良さそうだなと感じました。

　よって、ここからはMac(iMac Retina 4K, 21.5-inch,2017)とRaspberry Piでのセットアップ方法を説明していきます。

Macでのセットアップ方法

　Macで使用するパッケージとバージョンは以下です。

python 3.6.2
sklearn 0.19.0
numpy 1.13.1
scipy 0.19.1
matplotlib 2.0.2
OpenCV2 3.3.0

　Macでは、pyenvを使ってpython環境を構築しました。pyenvに関しては下記記事参照下さい。

　上記記事のpyenvのインストールまで完了したら、具体的には以下コマンドで必要なパッケージをインストールしたpython環境を構築します。

$ pyenv install anaconda3-4.4.0 
$ pyenv global anaconda3-4.4.0
$ conda create -n svm python
$ pyenv global anaconda3-4.4.0/envs/svm
$ pip install numpy
$ pip install sklearn
$ pip install scipy
$ pip install matplotlib
$ pip install opencv-python

　condaでパッケージインストールすると、バージョン関係でうまくいかなかったので全てpipでインストールしています（pythonの闇を見てしまった気がします…今回は見ないふりしました）。

　matplotlib関係でエラーが出た場合は、以下記事参照して設定ください。

　これで環境は構築できました。

Raspberry Piでのセットアップ

　Raspberry Piでは、色々な事情によりPython2を使っています。使用するパッケージとバージョンは以下です。

python 2.7.13
sklearn 0.18
numpy 1.12.1
scipy 0.18.1
matplotlib 2.0.0
OpenCV2 2.4.9.1

　Raspberry Piの基本的なセットアップに関しては、以下記事参照ください。 karaage.hatenadiary.jp

　上記記事を参考に、基本的なセットアップを完了させましょう。

　あとは、ターミナルで以下コマンドを実行して必要なパッケージをインストールします。

$ sudo apt-get update
$ sudo apt-get install python-pip
$ sudo apt-get install python-numpy
$ sudo apt-get install python-sklearn
$ sudo apt-get install python-scipy
$ sudo apt-get install python-matplotlib
$ sudo apt-get install python-opencv

　pipを使っていないのは、インストールの時間短縮のためです。

SVMテスト

　ここからは、Mac, Raspberry Pi共通の手順となります。例によって、pythonでSVMをテストするための簡単なプログラムを作ってみました。

　以下コマンドを実行すると、irisという機械学習で分類問題に使われるデータセット（scikit-learnに含まれています）を使って、SVMで分類をします。ちなみにirisは花（アヤメ）の種類と特徴の変数がセットになったデータらしいです。

$ git clone https://github.com/karaage0703/svm-pi
$ cd svm-pi
$ python svm.py

　以下がscikit-learnでチューニングした分類の様子です。

f:id:karaage:20170831173544p:plain:w640

　赤、白、青の丸が、iris（花）の種類を表しています。なんかうまいこと分類してくれるのがわかると思います。分かりやすく可視化するために、2次元の変数としていますが、多次元変数も、もちろん扱えます。

空の写真から天気の判定

　いよいよ、天気の判定です。ディープラーニングだと、とりあえず画像を入れれば良い感じに判別してくれるのですが、SVMの場合は判別するための特徴量を画像から抽出する必要があります。このとき、どういう特徴量を使うかで判別できるかできないかが決まってきます。

　今回は、簡単に色を使ってみることにしましょう。事前に軽くフィルタリングをかけてから（空以外の建物などを除くため）、画像の色の平均値（RGB値）を計算します。

　以下のような構成でフォルダを構成します。

svm-pi
 |- data/
       |--- 01/sky_01.jpg, sky_02.jpg, ...
       |--- 02/sky_01.jpg, sky_02.jpg, ...
       |--- 03/sky_01.jpg, sky_02.jpg, ...

$ python make_svm_data.py data

　すると、 /tmp/svm/svm.tsv という特徴量を抽出したテキストファイルが生成されます。念のため、ファイルの中身を見て変なデータ（nanなど）がある行は取り除いておきましょう。

　あとは、以下コマンド実行すると、SVMで分類できます。

$ python test_svm.py /tmp/svm/svm.tsv

　以下のようなグラフbest_tuned.pngが生成されます。

f:id:karaage:20170901231501p:plain:w640

　割とそれっぽく分類できたように見えますが、うまく分離できず、混じってしまっているところも多いですね。この結果から、特徴量の抽出をもう少し工夫した方が良さそうだなとわかります。前処理のフィルタのパラメータや、単純に平均をとる以外も考えた方が良さそうですね。

　この学習結果を使って、空の写真を撮って、天気を判別させる。といったことももちろん可能です。が、今回は省略します。興味ある人はやってみてください。

まとめ

　SVMを使って簡単な分類問題に挑戦してみました。教師ありデータを簡単にクラス分けするなら、SVMが最適かなと思います。ディープラーニングは、流行りではありますが、SVMで解けるような問題にディープラーニングを使って、貴重な計算資源や時間を無駄に使わないようにしたいですね。

　また、画像認識ではディープラーニングとSVMを組み合わせることで、計算コストを削減するということにも使われるらしいです。具体的には、学習済みのディープなニューラルネットワークを特徴量抽出器として使ってSVMで判定するようです（いわゆる転移学習の一種になるのかなと思います）。機会があればそういった組み合わせにもチャレンジしてみたいですね。