docker-composeからNVIDIAのGPUを使う [2021年5月版]

docker-composeからNVIDIAのGPUを使うためにいろいろ調べてみたところ、NVIDIA Docker2やら何やらいろんな情報が錯綜しているので現状を調べてみた記録です。

※この記事は2021年5月23日現在の情報です。最新情報については公式ドキュメント等を参照してください。

DockerでNVIDIAのGPUを使う方法

現時点ではDockerをインストールし、その後nvidia-docker2をインストールするのが良さそうです。

Docker 19.03以降ではGPUをサポートするようになり、DockerのインストールとNVIDIA Container Toolkitをインストールすることで、dockerコマンドのオプションからGPUを呼び出せるようになるようです。

Docker Engine 19.03 release notes

Disable IPv6 Router Advertisements to prevent address spoofing. CVE-2020-13401

Docker Documentation

container: --gpus support by tiborvass · Pull Request #1714 · docker/cli

Signed-off-by: Tibor Vass tibor@docker.com Closes #1200 Dependent on moby/moby#38828 Most common usecase: docker run --gpus all Otherwise can be further specified: docker run --gpus 2,driver=nvidia...

GitHub

また、nvidia-docker2をインストールすればnvidia-container-toolkitも自動でインストールされるようなので、現時点ではDockerをインストールし、その後nvidia-docker2をインストールするのが良さそうです。

NVIDIA Docker って今どうなってるの？ (20.09 版)

※ この記事は以前私が Qiita に書いたものを、現状に合わせて更新したものです。(内容、結構変わりました)

Medium

最も詳しいと思われる上記のNVIDIA Japan公式のMediumの記事がNVIDIAのGPUをDockerから使う際に参考になると思います。

docker-composeからNVIDIAのGPUを使う方法

• docker-compose 1.27までの場合
  • runtime: nvidiaを指定する
    • runtimeを指定できるのはdocker-composeの2.3以降のバージョンのようです（参考）
• docker-compose 1.28以降の場合
  • devices:とcapabilities:を指定する、またはruntime: nvidiaを指定する

ようです（参考）。

※Docker 19.03以降＋NVIDIA Container Toolkitをインストールしていて、Rootlessモードを使っていない前提

参考

Run Docker Compose services with GPU access

Learn how to configure Docker Compose to use NVIDIA GPUs with CUDA-based containers

Docker Documentation

Support for NVIDIA GPUs under Docker Compose · Issue #6691 · docker/compose

Under Docker 19.03.0 Beta 2, support for NVIDIA GPU has been introduced in the form of new CLI API --gpus. docker/cli#1714 talk about this enablement. Now one can simply pass --gpus option for GPU-...

GitHub

Rootless-Dockerのdocker-composeでGPUを使おう - チラシの裏からうっすら見える外枠の外のメモ書き

今まで気づけていませんでしたが、どうやらRootless-Dockerを使っている場合はdocker-composeでGPUを簡単には使用できないようです。 新しいDockerでは、オプション--gpusをつけることでGPU(正確にはNVIDIAのGPU)を使用することができるようになっています。 medium.com ですが、docker-composeはまだその仕様を取り込んでいないようで、d

チラシの裏からうっすら見える外枠の外のメモ書き