google colaboratoryで強化学習のプログラムを書きつつ動かしていたのだが、少し間があいて1ヶ月ぶりくらいに動かしてみたら、学習がまったく進まなくなってしまった。こんな感じで青が以前、赤が今回。
自分のプログラムを同じ状態に戻して↑の状態なので、環境側に何か変化があったと考えて調べてみたところ、colaboratory上で使われているcudaのversionが上がっていた。
これまで環境構築時に使っていたpytorchのinstallコマンド
!pip install http://download.pytorch.org/whl/cu80/torch-0.4.1-cp36-cp36m-linux_x86_64.whl
現在のcudaのversion
!nvcc -V nvcc: NVIDIA (R) Cuda compiler driver Copyright (c) 2005-2018 NVIDIA Corporation Built on Tue_Jun_12_23:07:04_CDT_2018 Cuda compilation tools, release 9.2, V9.2.148
ということでcudaが8.0 -> 9.2に変わっていた。9.2用のinstallコマンドは公式ページよりこれ
pip install http://download.pytorch.org/whl/cu92/torch-0.4.1-cp36-cp36m-linux_x86_64.whl
これで動かしてみたところ、無事元のような結果が得られた