Google Colaboratoryを便利に使うためのTIPSまとめ

Google Colaboratoryをもっと便利に使いたい

 ブラウザさえあれば、環境構築不要・無料でPythonの開発が可能なWebサービス「Google Colaboratory(以下Google Colab)」。Windows PC等で手元に適切なPython環境が無い場合や、手元の環境を崩したくないとき、GPUを活用したいときなど幅広く活用しています(詳細は以下記事参照下さい)。

 そんな中、よく使うコマンドやTIPS、使いたいときに探すのに時間がかかるのが多いため、一度まとめてみることにしました。

 以下に本記事で紹介するコマンドをまとめたGoogle Colabのノートブックのリンクを貼っておくので、こちらも好きにコピーして使用してもらってOKです。

Google Colaboratory Tips

Google Colab Tips集

スペック確認

 OS確認

!cat /etc/issue

 容量確認

!cat /etc/issue

 メモリ確認

!free -h

 メモリは以下でも確認できます。

from psutil import virtual_memory
ram_gb = virtual_memory().total / 1e9
print('Your runtime has {:.1f} gigabytes of available RAM\n'.format(ram_gb))

 ハードウェアの情報確認

!apt install -y -qq lshw
!lshw

 CPUのスペック確認

!cat /proc/cpuinfo 

 Google Colabの起動してからの時間確認

!cat /proc/uptime | awk '{print $1 /60 /60 /24 "days (" $1 "sec)"}'

Googleの時間制約に関しては、以下記事参照下さい。

【秒速で無料GPUを使う】深層学習実践Tips on Colaboratory - Qiita

GPU関係の情報確認方法

 ここの項目は、ランタイム -> ランタイムのタイプを変更 -> ハードウェアアクセラレーションをGPUに設定して確認します。

 GPUの型式やスペックを確認する方法は以下です。いくつかあるので必要に応じて使い分けてください(一度一通り実行してみると良いでしょう)。

!cat /proc/driver/nvidia/gpus/0000:00:04.0/information
!nvidia-smi
from tensorflow.python.client import device_lib
device_lib.list_local_devices()

 GPUのメモリ使用量を確認する方法は以下です。

!pip install -qq GPUtil
import GPUtil
GPUtil.showUtilization()

 GPUメモリを開放する場合は以下実行しましょう。

import gc
gc.collect()

マジックコマンド

 最初に!や%をつけることで、Google Colab上でLinuxのコマンドが使用可能になります。

ディレクトリ作成

!mkdir test

ファイル確認

!ls

 ディレクトリ移動(cdは!でなく%をつける必要があります、理由は省略)

%cd test

ファイルの作成

!echo 'test' > test.txt

ヘルプの表示(後ろに?でもOKです)。

?print

ライブラリのインストール・TensorFlowのバージョン切り替え

 ライブラリのバージョン指定のインストール。 pipのインストールのとき、ライブラリの最後に==バージョン番号 をつける。ディープラーニング関係のソフトはバージョン依存が激しいので、以下のようにバージョン指定を使うことで、特定のバージョンがインストールできます。

!pip install tensorflow==1.8.0

 また、TensorFlowに関しては、以下のようなマジックコマンドで2.x系と1.x系を切り替えることができます。

 2.x系に切り替え。

%tensorflow_version 2.x
import tensorflow as tf
print(tf.__version__)

 1.x系に切り替える方法、以前は%tensorflow_version 1.xで切り替えられたのですが、残念ながらGoogle ColabのTensorFlow 1.xのサポート終了になってしまいました。代わりに以下コードを実行することで1.x系で動かすことが可能です。

!pip install tensorflow-gpu==1.15.2 
import tensorflow as tf
print(tf.__version__)

 上記コマンドでインストールするのはTensorFlowのGPUバージョンなので、Google Colab ノートブック メニューの「ランタイム -> ランタイムのタイプを変更」でハードウェア アクセラレータがGPUになっていることを確認ください。

Pythonのバージョン確認

 以下コマンドでPythonのバージョンが確認できます。

import platform
print("python " + platform.python_version())

 インストールされている全てのライブラリとバージョンを確認するコマンドは以下です。

!pip freeze

 バージョンを確認したいライブラリが決まっている場合の検索の仕方は、pip freezeを使う場合は以下の通りです。

!pip freeze | grep -i 'numpy\|scikit-learn\|matplotlib\|seaborn\|pandas'

 pkg_resoucesを使う場合は以下です。

import pkg_resources

pkglist = ['numpy', 'scikit-learn', 'matplotlib', 'seaborn', 'pandas']

for dist in pkg_resources.working_set:
    if dist.project_name in pkglist:
        print(dist.project_name, dist.version)

データのアップロード・ダウンロード

 以下コマンドでGoogle Colab上にデータをアップロードします。

from google.colab import files
uploaded = files.upload()

 以下コマンドでGoogle Colab上のデータのダウンロード します(以下は、test.txt というファイルをダウンロード)

from google.colab import files
files.download('test.txt')

 ただし、これらのコマンドは大きい容量のファイル(数十MB程度)でも、失敗してしまうことがあります。そのようなときは、次に述べるGoogle Driveとの連携を使用するのが良いです。

Google Driveとの連携

 以下コマンドでGoogle Driveと連携できます。

from google.colab import drive
drive.mount('/content/drive')

 上記コマンドを実行すると、以下のようにURLリンクが表示されて認証コードの入力が求められます。

Go to this URL in a browser: https://accounts.google.com/o/oauth2/auth?client_id=xxxxx

Enter your authorization code:

 最初に、URLリンクをクリックします。Googleアカウントを選択する画面が出てくるので、使用したいアカウントを選択します。続いて、Google ColabにGoogle Driveのアクセスの許可を与えて良いかの確認画面が出てくるので「許可」をクリックします。

 すると、「このコードをコピーし、アプリケーションに切り替えて貼り付けてください。」という画面と共に、コードが表示されます。まずは、コードを指示通りコピーして、先ほど表示されたテキストの認証コードの入力を求める「Enter your authorization code:」の下部にコピーしたコードを貼り付けましょう。

 この後は/content/drive というディレクトリのMy Driveディレクトリ以下に自分のGoogle Driveのファイルがマウントされます。

 正しく連携できていれば、Google Colab上で以下コマンドを実行すると、Google DriveのMy Driveのデータが表示されます。

!ls '/content/drive/My Drive'

 後は、cpやmvコマンドでGoogle ColabとGoogle Drive上のデータを好きにやりとりできます。例えば、Google Colab上のtest.txtというファイルをGoogle Drive上に移動したいときは、以下のようなコマンドを実行することで実現できます。

!mv test.txt  '/content/drive/My Drive'

 Google Drive上の公開ファイルをGoogle Colabをダウンロードする場合は、以下記事が参考になります。

Google ColabでGoogle driveの公開ファイルを直接ダウンロードする方法 - Qiita

画像表示

 Google Colab上で画像を表示する方法です。事前準備として、テスト用の画像をダウンロードしておきます。

!wget -O test.jpg https://raw.githubusercontent.com/wiki/karaage0703/python-image-processing/0007.jpg

 画像表示する方法に関しては、以下の2通りをそれぞれ説明します。

  • IPython.displayを使用する方法
  • Matplotlibを使用する方法
IPython.displayを使用する方法

 IPython.displayを使って画像を表示する方法は以下です。

from IPython.display import Image as IPImage
from IPython.display import display_jpeg

display_jpeg(IPImage('test.jpg'))

 PNGを表示したい場合はdisplay_jpegの代わりにdisplay_pngを使います。

 ImageIPImageという名前でインポートしているのは、PillowのImageライブラリと名前が衝突してしまうのを防ぐためのテクニックです。Pillowを使用しない場合は不要です。

Matplotlibを使用する方法

 Matplotlibを使う方法は以下です。

from PIL import Image
from matplotlib.pyplot import imshow

img = Image.open("test.jpg")
imshow(img)

 枠線が邪魔な場合と、サイズを変えたい場合は以下のようにします。

from matplotlib import pyplot as plt 
fig = plt.figure(figsize=(10,10))
plt.imshow(img)
plt.axis('off')
plt.show()

matplotlibの日本語化

 matplotlibの日本語化は結構めんどうだったりするのですが。japanize-matplotlibというライブラリを使うと、簡単に日本語が使えるようになります。

 具体的には、以下pipコマンドでインストールするだけです。

!pip install japanize-matplotlib

 あとは以下コマンドで日本語の入ったグラフを描くことができます。

import matplotlib.pyplot as plt
import japanize_matplotlib

plt.plot([1, 2, 3, 4])
plt.xlabel('簡単なグラフ')
plt.show()

GitHub上のJupyter NotebookファイルをGoogle Colaboratory上で実行

 GitHub上にアップされたJupyter NotebookファイルをGoogle Colab上で実行することができます。

 具体的には、Google Colab起動直後の画面で「GITHUB」のタブを選択します。

 対象のGitHub上にアップされたJupyter Notebookのアドレスを入力します。

 今回は以下アドレスとしました。https://colab.research.google.com/github/moizumi99/raw_process/blob/master/part1_ISP_Basic_Process.ipynb

 以下のように「Google Colab」上で実行することが可能です。

GitHubにGoogle Colabノートブックを保存

 「ファイル -> GitHubにノートを保存」で、自分のGitHubのリポジトリにノートブックを保存することができます。

 また、Google ColabへのリンクをGitHubのノートブック上に追加することもできます。

 Google Colabのノートブックのバックアップや、ノートブックに対して、他の人からPull Requestを受け付けたいときに便利です。

 GitHubのファイルを更新したいときは、同じ操作(ノートを保存)を繰り返せばOKです。

 以下のサイトで、スクリーンショット付きで詳しく説明されています。

google colaboratoryからgithubに保存 - 八谷大岳の覚え書きブログ

プルダウンメニュー等のUIを使う方法

 以下の図のようなやつです。

 Formsという以下のノートブックに例が載っていますので、ここからコピペすれば使えます。

Google Colab

 Jupyter Notebookの場合は、ipywidgetsを使えば同様のことができるそうです。

ipywidgetsとBokeh使ってインタラクティブな可視化をする - Qiita

 以下ツイートで教えていただきました。

Google ColabでPCカメラを使う

 なんとPCカメラが使えてしまいます。メニューからスニペットをコピペするだけです。詳しい手順は以下記事参照下さい。

google ColaboratoryでPCのカメラを使う - Qiita

 さらに、工夫するとリアルタイムに画像処理までできてしまいます。詳しくは以下記事参照ください。

Colab上でwebカメラをリアルタイムに処理 - Qiita

Google Colab上のファイルを編集

 左のファイラーから、ファイルを選択してダブルクリックしたら簡易編集ができました。便利ですね。

 その他の方法は、以下の記事が参考になります。いざというときのためにsedコマンドは使えるようになっておくと便利ですね。

Colaboratoryで簡単にファイル編集をする方法2つ - Qiita

分析コンペ(Kaggle)とColabの連携

 以下記事が参考になります。

Google ColabとVS Codeとの連携

 以下スライドが参考になります。

GoogleColabとVSCodeを用いた分析環境運用Tips - Speaker Deck

Google Colabでのデバッグ方法

 以下スライドページとColabノートブックへが参考になります。ノートブックを実行すると、デバッグの流れがつかめると思います。

JupyterNotebookでのdebug入門(サンプルは説明欄にあります) - Speaker Deck

JupyterNotebookでのdebug入門(Google Colab Notebook)

まとめてコメントアウト・まとめてインデント

 複数行選択してCtrl + /(Macだと'Command + /')でまとめてコメントアウト。Shift + TABでまとめてインデント操作できます。地味に便利です。

デフォルトのインデント幅(スペース)の変更

 設定で変えられます。Google Colabのデフォルトは2ですが、Pythonの規約(PEP)だと4なので、4に変えるのも良いかもしれません。

 ディープラーニング系のコードなどは、コードのみやすさからインデント幅を2にする慣例があります。

Google Colab Pro

 何度か使えると「GPUを使いすぎだよ」と言われて、Colab Proに案内されるかもしれません。案内されるがままにColab Proへ課金すると優先的にGPUを割り当ててもらえます。

 GPUのスペックなどは、以下のNotebookで確認できます。

Google Colab

まとめ

 「Google Colab」のよく使う便利なTIPSをまとめました。最初にも紹介しましたが、本記事で紹介するコマンドをまとめたGoogle Colabのノートブックを作成しています。ご自由に活用下さい。

Google Colaboratory Tips

書籍の宣伝

 AIの初心者向け本「からあげ先生のとにかく楽しいAI自作教室」を執筆しました。Google Colabを使って、実際に動かしながらAIを学べる本になっています。

 文系でAI素人の私の妻も、実践できて理解を深められるような、初学者向けの内容になっています。以下に紹介記事を書いていますので、興味ある方は是非ごらんください。

参考リンク

【秒速で無料GPUを使う】TensorFow(Keras)/PyTorch/Chainer環境構築 on Colaboratory - Qiita

【秒速で無料GPUを使う】深層学習実践Tips on Colaboratory - Qiita

pip install して import するだけで matplotlib を日本語表示対応させる - Qiita

Google Colabから簡単にGoogle Driveへ書き込む方法 | Shikoan's ML Blog

Colaboratoryを使った作品制作TIPSを紹介する|FTD|note

関連記事

変更履歴

  • 2022/08/16 Google ColabのTensorFlow 1.x系サポート終了に関して追記
  • 2022/01/20 まとめてコメントアウト・まとめてインデント
  • 2022/01/03 GPUの確認に関して追記
  • 2021/11/09 ?でヘルプ表示を追記
  • 2021/08/18 TIPSへのリンク追記
  • 2021/03/04 Kaggleとの連携に関して追記
  • 2020/12/20 書籍に関して追記
  • 2020/12/03 ファイル編集に関して追記
  • 2020/06/22 バージョン確認に関して追記
  • 2020/05/26 画像表示に関して文章修正
  • 2020/05/08 Google Colab上でのPCカメラの使用に関して追記
  • 2020/03/11 Google Driveとの連携に関して補足
  • 2020/03/06 GitHubへのノートブックの保存に関して追記
  • 2019/09/27 Google Driveとの連携に関して追記
  • 2019/08/29 UIの使い方に関して追記