Centos安装GPU驱动,100元显卡玩转deepseek

步骤 1: 安装 NVIDIA 驱动程序

1.1 安装显卡驱动编译工具

yum install gcc make kernel-devel

1.2 安装显卡驱动依赖包

yum install vulkan-loader

1.3 下载驱动安装

https://www.nvidia.cn/drivers/details/220730/

chmod u+x NVIDIA-Linux-x86_64-550.54.15.run
./NVIDIA-Linux-x86_64-550.54.15.run

使用查看驱动是否安装

nvidia-smi

[root@centos-5 ~]# nvidia-smi
Mon Feb 10 17:24:10 2025       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.135                Driver Version: 550.135        CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA P104-100                Off |   00000000:00:10.0 Off |                  N/A |
| 68%   27C    P8              5W /  180W |       3MiB /   8192MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
                                                                                         
+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
​

如果这个命令返回了 GPU 的信息，那么驱动已经安装。如果没有，你需要先安装 NVIDIA 驱动。你可以通过 NVIDIA 的官方网站下载适用于你的 CentOS 版本的驱动，或者使用 RPM 包进行安装。例如，如果你使用的是 CentOS 8，你可以下载相应的 RPM 包并安装：

sudo yum install https://us.download.nvidia.com/tesla/470.57.02/NVIDIA-Linux-x86_64-470.57.02.run
sudo sh NVIDIA-Linux-x86_64-470.57.02.run

步骤 2: 安装 Docker

确保你的系统上安装了 Docker。可以通过以下命令安装 Docker：

sudo yum install -y yum-utils
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sudo yum install -y docker-ce docker-ce-cli containerd.io
sudo systemctl start docker
sudo systemctl enable docker

步骤 3: 安装 NVIDIA Container Toolkit

1. 添加 NVIDIA Container Toolkit 的仓库：

   distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
   curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo tee /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg > /dev/null
   curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | sudo tee /etc/yum.repos.d/nvidia-docker.repo

2. 安装 NVIDIA Container Toolkit：

   sudo yum install -y nvidia-container-toolkit
   sudo systemctl restart docker

步骤 4: 验证安装

4.1 重启 Docker 服务

sudo systemctl restart docker

2.检查 NVIDIA Container Toolkit 是否正确安装：

docker info | grep NVIDIA

3.运行一个 GPU 加速的容器：

docker run --gpus all nvidia/cuda:12.4.0-base-ubuntu22.04  nvidia-smi

1.检查 NVIDIA Container Toolkit 是否正确安装：

docker info | grep NVIDIA

如果看到类似 nvidia driver 的输出，说明 NVIDIA Container Toolkit 已正确安装并配置。

4.2 运行一个 GPU 加速的容器：

docker run --gpus all nvidia/cuda:11.0-base nvidia-smi

这个命令会启动一个包含 nvidia-smi 的容器，用于显示 GPU 的状态信息。如果 GPU 信息被正确显示，那么你的安装就是成功的。

以上步骤应该可以帮助你在 CentOS 系统上成功安装并配置 NVIDIA Container Toolkit。如果遇到任何问题，检查日志文件和确保所有依赖都已正确安装通常会有所帮助。

5.部署deepseek

5.1.部署大模型

1.编辑配置文件

先部署ollma,编辑docker-compose.yaml文件如下

name: 'ollama'
services:
  ollama:
    #restart: always
    image: ollama/ollama
    container_name: ollama13
    runtime: nvidia
    environment:
      - TZ=Asia/Shanghai
      - NVIDIA_VISIBLE_DEVICES=all
    networks:
      - ai-tier
    ports:
      - "11745:11434"
    volumes:
      - ./data:/root/.ollama
networks:
  ai-tier:
    name: ai-tier

2.启动ollma

docker-compose up -d

进入容器拉取对应的模型

docker exec ollama ollama run deepseek-r1:14b

5.2 配置web界面,open-webui

1.编辑配置文件编辑docker-compose.yaml文件如下

version: '3'
services:
  open-webui:
    image: swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui:v0.5.7
    container_name: open-webui
    restart: always
    ports:
      - "3000:8080"
    environment:
      - OLLAMA_BASE_URL=http://192.168.31.105:11745
    volumes:
      - open-webui:/app/backend/data
​
volumes:
  open-webui:

2.启动命令

docker-compose up -d