CUDA

インストール方法

Windowsへのインストール

CUDA 9をインストールする

• 公式のダウンロードサイト https://developer.nvidia.com/cuda-90-download-archive にアクセスをする。
• CUDA9.0本体1個とパッチが4個ある (2018年10月時点) のでダウンロードする。
• 本体 → 古いパッチ → 新しいパッチ の順でインストールする。
途中で「展開フォルダの場所」を聞いてくることがあるが、デフォルトのままで構わない。

展開ファイルの場所(デフォルトのまま)
C:\Users\ユーザ名\AppData/Local/Temp/CUDA

• CUDA Toolkit Documentation が C:Program Files\NVIDIA GPU Computing Toolkit/CUDA/v9.0/doc/html/index.html にインストールされるので必要に応じて参照する。 html , pdf

cuDNN のインストール

1. nVidia の公式サイト https://developer.nvidia.com/rdp/cudnn-download にアクセスする。
2. OSに適合した cuDNN をダウンロードする。
現時点では Widows10用は次のパッケージであった。

cuDNN v7.3.1 [Sept 28, 2018], for CUDA 9.0
  cuDNN v7.3.1 Library for Windows 10

3. https://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html をよく読んで、指示に従ってインストールする。
4. 3個のファイルを所定のフォルダにコピーする
展開して出来たフォルダのパスを PATH で表すと、次の通り。

copy PATH\cuda\bin\cudnn64_7.dll  C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\bin
copy PATH>\cuda\ include\cudnn.h  C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\include
copy PATH>\cuda\lib\x64\cudnn.lib  C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\lib\x64

5. 環境変数 CUDA_PATH を次の値に設定する

  変数名: CUDA_PATH 
  値:     C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0

CUDA Toolkit

python で tensorflow-gpu を動かすだけならば "Cuda 9" と "cuDNN" だけでとりあえず動く。 しかし、CUDA のプログラムを自分でコンパイルするのにはCUDA Toolkit をインストールしておく必要がある。

1. マニュアルをよく読む。

https://docs.nvidia.com/cuda/cuda-installation-guide-microsoft-windows/index.html

CUDA_Installation_Guide_Windows.pdf (loca copy)

2. NVIDIA CUDA Toolkit をダウンロードする。
http://developer.nvidia.com/cuda-downloads
3. cuda_10.0.130_411.31_win10.exe をダブルクリックして、あとは指示にしたがう。

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0

4. 環境変数 CUDA_PATH が変更されていることを確認する。

 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0

cuDNNのインストール時に手動で設定した環境変数 CUDA_PATH だが、今回インストールした CUDA Toolkit が v10.0 なので、インストーラーによって自動的に書き換えられる。

5. コンパイル済みのdemoプログラムは次の場所にある。

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\extras\demo_suite

bandwidthTest.exe, deviceQuery.exe, nbody.exe oceanFFT.exe などが動くことを確認する。

6. Microsoft Visual Studio に CUDA plugin を登録するためのプログラムは次の場所にある。

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\extras\visual_studio_integration\MSBuildExtensions

7. NVIDA driver は WDDM と TCC (Tesla Compute Cluster)という2つのモードを持つ。 デフォルトはTCC。 どちらのモードで動いているかを調べたり、モードを切り換えしたりするのが nvidia-smi 。
8. sample の場所は以下の通り。

C:\ProgramData\NVIDIA Corporation\CUDA Samples\v10.0

1. マニュアルによれば 1_Utilities\bandwidthTest にある bandwidthTest をコンパイルしてみるのがよいそうだ。
2. C:\ProgramData\NVIDIA Corporation\CUDA Samples\v10.0\1_Utilities\bandwidthTest\bandwidthTest_vs2017.sln をダブルクリックしてVisual Studio 2017を起動する。
3. プロジェクトの上で右クリックして、「ビルドの依存関係」 → 「ビルドのカスタマイズ」 → とやって、"CUDA 10.0(.targets, props)" "CUDA 10.0(.targets)"がチェックされていることを確認する。




4. Release, x64 でbuildして実行すると、正常に動いた。





環境変数は Build Customization CUDA 10.0.props ファイルによって自動的に設定される。 これは次の場所にある。

[VS2015用]  C:\Program Files (x86)\MSBuild\Microsoft.Cpp\v4.0\V120\BuildCustomizations
[VS2017用]  C:\Program Files (x86)\Microsoft Visual Studio\2017\Professional\Common7\IDE\VC\VCTargets\BuildCustomizations

Visual Studio で自分のcuda プログラムをコンパイルするときは、上記のようにして Build customization に "Cuda"を設定するとよい。

9. 新しく CUDA のプロジェクトを作成する場合は次のようにする。

File → New Project ... → NVIDIA → CUDA 10.0 → CUDA 10.0 Runtime

カスタムな CUDA Toolkit を参照するには、 CUDA C/C++ の下で、Common → CUDA Toolkit Custom Dir に設定する。
10. 既存のプロジェクトに CUDA を取り入れるには次のようにする。

プロジェクトの上で右クリック → 「ビルドの依存関係」 → 「ビルドのカスタマイズ」
→ "CUDA 10.0(.targets, props)" がチェックされていることを確認

または

プロジェクトの上で右クリック → 「プロパティ」 → CUDA C/C++ →、Common → CUDA Toolkit Custom Dir →
$(CUDA_PATH)
と設定する。

11. Documentの場所は以下の通り

file:///C:/Program%20Files/NVIDIA%20GPU%20Computing%20Toolkit/CUDA/v10.0/doc/html/index.html

cuDNNのバージョンを上げる

1. 公式のダウンロードサイト https://developer.nvidia.com/rdp/cudnn-download にアクセスする。

[2019/08/04 時点]
Download cuDNN v7.6.2 (July 22, 2019), for CUDA 10.1
Download cuDNN v7.6.2 (July 22, 2019), for CUDA 10.0
Download cuDNN v7.6.2 (July 22, 2019), for CUDA 9.2
Download cuDNN v7.6.2 (July 22, 2019), for CUDA 9.0

2. CUDA 9.0 用の cuDNN v7.6.2をダウンロードすることにする。
cudnn-9.0-windows10-x64-v7.6.2.24.zip
3. 展開する

    cuda/
      bin/
      include/
      lib/

4. CUDA Toolkit ディレクトリにファイルをコピーする」

copy PATH\cuda\bin\cudnn64_7.dll  C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\bin
copy PATH>\cuda\ include\cudnn.h  C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\include
copy PATH>\cuda\lib\x64\cudnn.lib  C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\lib\x64