container-toolkit
NVIDIA Container Toolkit 介绍及安装-CSDN博客
NVIDIA Container Toolkit 是 NVIDIA 提供的一组工具,用于在容器化环境中支持 GPU 加速,特别是通过 Docker 或其他容器运行时,运行基于 NVIDIA GPU 的工作负载(如深度学习、科学计算等)
安装 NVIDIA Container Toolkit
1. 前提条件
NVIDIA 驱动程序:确保主机已安装支持的 NVIDIA 驱动程序。
https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=24.04&target_type=deb_local
根据自己的系统选择:

按照 网站提示的安装就可以。
Docker:安装 Docker,版本需为 19.03 或更高。
2. 设置 NVIDIA 容器仓库
根据操作系统配置仓库:
sudo curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
echo "deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://nvidia.github.io/libnvidia-container/stable/deb/amd64 /" | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
3. 安装 NVIDIA Container Toolkit
Ubuntu:
apt-get install -y nvidia-container-toolkit
nvidia-container-toolkit nvidia-container-runtime
24版本的ubutu 截止目前2026年4月21日 apt 安装失败,
只能离线安装:前4个就可以了
Ubuntu24.04 离线安装NVIDIA Container Toolkit
下载网址:https://github.com/NVIDIA/libnvidia-container/tree/gh-pages/stable/deb/amd64
下载NVIDIA Container Toolkit,最后两个可选是否下载,根据自己需要
版本:1.15.0-1_amd64.deb
libnvidia-container1_1.15.0-1_amd64.deb # 基础库包,提供了最基本的功能,其他包都依赖于它
libnvidia-container-tools_1.15.0-1_amd64.deb # 基础工具包,依赖于 libnvidia-container1
nvidia-container-toolkit -base_1.15.0-1_amd64.deb # 基础组件包,依赖于前面的包
nvidia-container-toolkit_1.15.0-1_amd64.deb # 主要的工具包,依赖于以上所有包
libnvidia-container1-dbg_1.15.0-1_amd64.deb # 调试符号包,只在调试问题时使用
libnvidia-container-dev_1.15.0-1_amd64.deb # 开发包,只在进行开发时使用
下载链接:
https://github.com/NVIDIA/libnvidia-container/blob/gh-pages/stable/deb/amd64/libnvidia-container1_1.15.0-1_amd64.deb
https://github.com/NVIDIA/libnvidia-container/blob/gh-pages/stable/deb/amd64/libnvidia-container-tools_1.15.0-1_amd64.deb
https://github.com/NVIDIA/libnvidia-container/blob/gh-pages/stable/deb/amd64/nvidia-container-toolkit_1.15.0-1_amd64.deb
https://github.com/NVIDIA/libnvidia-container/blob/gh-pages/stable/deb/amd64/nvidia-container-toolkit-base_1.15.0-1_amd64.deb
手动安装 NVIDIA Container Toolkit 相关的 .deb 软件包,安装顺序可以参考下面,但我是全部一起,暂时没什么问题
sudo dpkg -i libnvidia-container1_1.15.0-1_amd64.deb
sudo dpkg -i libnvidia-container-tools_1.15.0-1_amd64.deb
sudo dpkg -i nvidia-container-toolkit-base_1.15.0-1_amd64.deb
sudo dpkg -i nvidia-container-toolkit_1.15.0-1_amd64.deb
安装后需重启 Docker
sudo systemctl restart docker
安装Docker,Ubuntu24.04 离线安装NVIDIA Container Toolkit_ubuntu24.04 nvidia-container-toolkit-CSDN博客
验证:
nvidia-container-cli --version

4. 配置 Docker
在 /etc/docker/daemon.json 文件中添加以下内容:
"runtimes": {
"nvidia": {
"path": "nvidia-container-runtime",
"runtimeArgs": []
}
}

然后重启 Docker 服务:
systemctl restart docker
5-驱动
sudo apt install nvidia-driver-550

测试 NVIDIA GPU 支持
运行以下命令检查容器中 GPU 的可用性
docker run --rm --gpus all nvcr.io/nvidia/cuda:12.4.0-base-ubuntu22.04 nvidia-smi
报错:
docker: Error response from daemon: failed to create task for container: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: error running hook #0: error running hook: exit status 1, stdout: , stderr: Auto-detected mode as 'legacy'
nvidia-container-cli: initialization error: nvml error: driver not loaded: unknown.

分割线
NVIDIA Container Toolkit-核心功能
- GPU 加速支持:
- 将主机的 NVIDIA GPU 映射到容器中,使得容器能够直接访问 GPU 资源。
- 轻松管理 CUDA 环境:
- 自动加载必要的 NVIDIA 驱动程序、CUDA 库和运行时,简化环境配置。
- 与容器平台集成:
- 支持 Docker 和其他容器运行时(如 containerd)。
- 灵活的 GPU 分配:
- 允许用户指定容器可以访问的 GPU 数量或特定 GPU。
NVIDIA Container Toolkit-组件结构
NVIDIA Container Runtime:
Docker 运行时的扩展,用于在容器中加载 GPU 相关组件。
NVIDIA Container CLI:
提供了命令行工具 nvidia-container-cli,可以用于调试和管理 GPU 映射。
支持的库和工具:
自动为容器挂载 libcuda.so 和其他相关库,使其支持 GPU 加速。
欢迎来撩 : 汇总all
