您的位置 首页 大模型

ubuntu24.04 部署 gpu+大模型详细步骤

ubuntu24.04 部署 gpu+大模型详细步骤

https://console.compshare.cn/

 

消费级显卡, 30,40.50系列

工业级: A系列, H系列,B系列

1 登录服务器 ,看看都有啥:

hostnamectl
cat /etc/os-release
uname -r
uname -m
df -hT

 

2确认 PCIe 层能看到 NVIDIA GPU

lspci | grep -iE 'nvidia|vga|3d'

-i:表示忽略大小写(Ignore case)。

-E:表示使用扩展正则表达式(Extended regex),允许使用 | 来表示“或”的关系。

PCI 插槽上识别到了 NVIDIA 的 3D 设备

3 ,检查是否有显卡驱动:

nvidia-smi 

 

4如果没有就要部署驱动:

4. 1 部署编译环境

NVIDIA 驱动需要为当前 Linux 内核构建并加载内核模块;CUDA Toolkit 的 nvcc 也需要可用的主机编译器。因此先安装 GCC 13、make、DKMS 和与当前内核严格匹配的 headers。缺少它们时,常见结果是驱动“安装成功”,但重启后 nvidia-smi 无法通信。

sudo apt update
sudo apt install -y gcc-13 g++-13 make build-essential dkms 

sudo apt install linux-headers-$(uname -r)

# 验证依赖已经可用
gcc-13 --version
make --version
dkms status

注意: gcc 的版本最好时候大于12 ,太低其他显卡有问题.

 

dkms status 没有任何输出:这是完全正确的。

因为 DKMS 的作用是“动态管理内核模块”,你现在还没有安装 NVIDIA 驱动,所以它手里没有任何模块需要管理。等你稍后安装完 NVIDIA 驱动,再次运行这个命令,它就会显示 nvidia/版本号, 6.8.0-xx-generic, x86_64: installed 这样的字样。

 

安装 GCC 13 不等于必须替换系统默认 gcc。不要随意修改 /usr/bin/gcc 的全局指向;若后续 CUDA 编译明确需要 GCC 13,可在该构建任务中设置 NVCC_CCBIN=/usr/bin/gcc-13。驱动模块的实际编译器还应与当前内核和发行版策略保持兼容。

4.2 安装过驱动

navida 官网驱动下载步骤 :  连接

4.3 部署 cuda toolkit 开发环境

是否必要安装 toolkit 呢?

(1)仅用 Docker 启动现成推理镜像时,CUDA runtime 已包含在镜像中,宿主机可以不装 Toolkit;

(2)但如果你需要在宿主机编译 CUDA 程序、使用 nvcc 或编译自定义算子,就要安装 CUDA Toolkit。

建议面向主流模型部署优先选择 CUDA 13.0,并让宿主机驱动保持在 580 以上。

CUDA Toolkit 安装 :  连接

 

 

5 -部署docker  ,跑一个容器 可以输出显卡信息:

1.2-正杰运维-英伟达驱动cuda安装与部署_哔哩哔哩_bilibili

如下脚本:

set -e

# 1. 安装仓库依赖
sudo apt update
sudo apt install -y ca-certificates curl gnupg
sudo install -m 0755 -d /etc/apt/keyrings

# 2. 导入阿里云 Docker CE GPG key
sudo curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg \
  -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

# 3. 创建 APT 源目录并添加 Docker CE 仓库
sudo mkdir -p /etc/apt/sources.list.d
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

# 确认 Docker 源文件已经写入
ls -l /etc/apt/sources.list.d/docker.list


# 4. 更新软件源并安装 Docker Engine 及相关插件
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

# 5. 启动 Docker 服务并设置开机自启
sudo systemctl start docker
sudo systemctl enable docker

# 6. 配置国内镜像加速器 (强烈建议)
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": [
    "https://docker.m.daocloud.io",
    "https://dockerproxy.com",
    "https://mirror.baidubce.com"
  ]
}
EOF

# 7. 重启 Docker 使镜像加速配置生效
sudo systemctl daemon-reload
sudo systemctl restart docker

# 8. 配置免 sudo 运行 Docker (可选)
# 将当前用户加入 docker 组,执行后需重新登录终端或输入 newgrp docker 生效
sudo usermod -aG docker $USER

# 9. 基础验收:运行 hello-world 镜像
# 如果能成功输出 "Hello from Docker!" 则代表部署完全成功
sudo docker run hello-world

 

欢迎来撩 : 汇总all

白眉大叔

关于白眉大叔linux云计算: 白眉大叔

热门文章