ubuntu24.04 部署 gpu+大模型详细步骤
https://console.compshare.cn/

消费级显卡, 30,40.50系列
工业级: A系列, H系列,B系列
1 登录服务器 ,看看都有啥:
hostnamectl
cat /etc/os-release
uname -r
uname -m
df -hT
2确认 PCIe 层能看到 NVIDIA GPU
lspci | grep -iE 'nvidia|vga|3d'
-i:表示忽略大小写(Ignore case)。
-E:表示使用扩展正则表达式(Extended regex),允许使用 | 来表示“或”的关系。

PCI 插槽上识别到了 NVIDIA 的 3D 设备
3 ,检查是否有显卡驱动:
nvidia-smi
4如果没有就要部署驱动:
4. 1 部署编译环境
NVIDIA 驱动需要为当前 Linux 内核构建并加载内核模块;CUDA Toolkit 的 nvcc 也需要可用的主机编译器。因此先安装 GCC 13、make、DKMS 和与当前内核严格匹配的 headers。缺少它们时,常见结果是驱动“安装成功”,但重启后 nvidia-smi 无法通信。
sudo apt update
sudo apt install -y gcc-13 g++-13 make build-essential dkms
sudo apt install linux-headers-$(uname -r)
# 验证依赖已经可用
gcc-13 --version
make --version
dkms status
注意: gcc 的版本最好时候大于12 ,太低其他显卡有问题.
dkms status 没有任何输出:这是完全正确的。
因为 DKMS 的作用是“动态管理内核模块”,你现在还没有安装 NVIDIA 驱动,所以它手里没有任何模块需要管理。等你稍后安装完 NVIDIA 驱动,再次运行这个命令,它就会显示 nvidia/版本号, 6.8.0-xx-generic, x86_64: installed 这样的字样。
安装 GCC 13 不等于必须替换系统默认 gcc。不要随意修改 /usr/bin/gcc 的全局指向;若后续 CUDA 编译明确需要 GCC 13,可在该构建任务中设置 NVCC_CCBIN=/usr/bin/gcc-13。驱动模块的实际编译器还应与当前内核和发行版策略保持兼容。

4.2 安装过驱动
navida 官网驱动下载步骤 : 连接

4.3 部署 cuda toolkit 开发环境
是否必要安装 toolkit 呢?
(1)仅用 Docker 启动现成推理镜像时,CUDA runtime 已包含在镜像中,宿主机可以不装 Toolkit;
5 -部署docker ,跑一个容器 可以输出显卡信息:
1.2-正杰运维-英伟达驱动cuda安装与部署_哔哩哔哩_bilibili
如下脚本:
set -e
# 1. 安装仓库依赖
sudo apt update
sudo apt install -y ca-certificates curl gnupg
sudo install -m 0755 -d /etc/apt/keyrings
# 2. 导入阿里云 Docker CE GPG key
sudo curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg \
-o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
# 3. 创建 APT 源目录并添加 Docker CE 仓库
sudo mkdir -p /etc/apt/sources.list.d
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
# 确认 Docker 源文件已经写入
ls -l /etc/apt/sources.list.d/docker.list
# 4. 更新软件源并安装 Docker Engine 及相关插件
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
# 5. 启动 Docker 服务并设置开机自启
sudo systemctl start docker
sudo systemctl enable docker
# 6. 配置国内镜像加速器 (强烈建议)
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": [
"https://docker.m.daocloud.io",
"https://dockerproxy.com",
"https://mirror.baidubce.com"
]
}
EOF
# 7. 重启 Docker 使镜像加速配置生效
sudo systemctl daemon-reload
sudo systemctl restart docker
# 8. 配置免 sudo 运行 Docker (可选)
# 将当前用户加入 docker 组,执行后需重新登录终端或输入 newgrp docker 生效
sudo usermod -aG docker $USER
# 9. 基础验收:运行 hello-world 镜像
# 如果能成功输出 "Hello from Docker!" 则代表部署完全成功
sudo docker run hello-world
欢迎来撩 : 汇总all
