add Proxmox LXC Nvidia

11 months ago · 2e35a35eb9
parent fb15f3b2ec
commit 2e35a35eb9
3 changed files with 319 additions and 0 deletions
--- a/docs/images/proxmox/proxmox-nvidia-1.png
+++ b/docs/images/proxmox/proxmox-nvidia-1.png
--- a/docs/proxmox/nvidia-lxc.md
+++ b/docs/proxmox/nvidia-lxc.md
@ -0,0 +1,318 @@
 # NVidia Proxmox + LXC
 Не так давно мне потребовалось добавить поддержку перекодировки в Plex, используя видеокарту. У меня уже был сервер Plex, который работал внутри Docker. Сам Docker стоял внутри LXC контейнера Proxmox. Перерыв кучу материалов и потратив не мало времени, решил сделать руководство.
 Я предполагаю, что уже настроен хост Proxmox и LXC. Работает под управлением Debian 11 (Bullseye). В моем примере я буду запускать контейнер LXC с именем plex(ID 101) на моем хосте Proxmox. Все команды через терминал, без использования графического интерфейса. LXC получит привилегию `fuse=1,nesting=1` набора функций. В качестве видеокарты я буду использовать Nvidia GeForce 1050Ti. Все команды будут выполняться как root. 
 !!! info "Запуск в rootless LXC"
    Обратите внимание, что могут потребоваться другие шаги, если вы попытаетесь запустить это в контейнере LXC без root-прав или непривилегированном.
 ## Proxmox хост
 Первый шаг - это установка драйверов на хост. Хотя у Nvidia и есть официальный репозиторий Debian, который мы могли бы использьваоть, делать этого не будем. Потому что это может создать проблему - позднее нужно будет поставить в контейнер LXC драйверы, но без модулей ядра. Сделать это используя официальный репозиторий Debian я не смог. Поэтому будем устанавливать драйверы вручную. Другая проблема использования официального репозитория Debian - драйвер на хосте и в контейнере должны быть одной версии.
 Для начала нужно отключить модуль ядра Nouveau, прежде чем сможем установить драйверы NVIDIA
 ```
 echo -e "blacklist nouveau\noptions nouveau modeset=0" > /etc/modprobe.d/blacklist-nouveau.conf
 update-initramfs -u
 reboot
 ```
 Устанавливаем пакеты, необходимые для сборки драйверов ядра NVIDIA (нужны только на хосте)
 ```
 apt install build-essential
 ```
 Установливаем заголовки pve, соответствующие вашему текущему ядру. Для старых версий нужно использовать `pve-headers-$(uname -r)`
 ```
 apt install proxmox-headers-$(uname -r)
 ```
 Скачиваем и устанавливаем драйвер nvidia. 550.54.14 был последним на момент написания статьи.
 ```
 wget -O NVIDIA-Linux-x86_64-550.54.14.run  https://ru.download.nvidia.com/XFree86/Linux-x86_64/550.54.14/NVIDIA-Linux-x86_64-550.54.14.run
 chmod +x NVIDIA-Linux-x86_64-550.54.14.run
 ./NVIDIA-Linux-x86_64-550.54.14.run --check
 ./NVIDIA-Linux-x86_64-550.54.14.run
 ```
 !!! tip
    При установке, будет выбор что ставить дополнительно. В пунктах, перечисленных ниже, нужно ответить **No**
    - install 32bit compability drivers
    - should update X config
 После установки драйверов нужно добавить несколько правил udev. Это необходимо для того, чтобы гарантировать загрузку правильных модулей ядра и создание всех соответствующих файлов устройств при загрузке.
 ``` title="добавляем модули ядра"
 echo -e '\n# load nvidia modules\nnvidia-drm\nnvidia-uvm' >> /etc/modules-load.d/modules.conf
 ```
 добавьте следующее в `/etc/udev/rules.d/70-nvidia.rules` - создаст соответствующие файлы устройств в `/dev/` во время загрузки
 ```
 KERNEL=="nvidia", RUN+="/bin/bash -c '/usr/bin/nvidia-smi -L && /bin/chmod 666 /dev/nvidia*'"
 KERNEL=="nvidia_uvm", RUN+="/bin/bash -c '/usr/bin/nvidia-modprobe -c0 -u && /bin/chmod 0666 /dev/nvidia-uvm*'"
 SUBSYSTEM=="module", ACTION=="add", DEVPATH=="/module/nvidia", RUN+="/usr/bin/nvidia-modprobe -m"
 ```
 Чтобы избежать выгрузки модуля драйвера/ядра всякий раз, когда графический процессор не используется, нужно запустить службу сохранения, предоставляемую Nvidia . Он становится доступен после установки драйвера.
 Копируем и извлекаем.
 ```
 cp /usr/share/doc/NVIDIA_GLX-1.0/samples/nvidia-persistenced-init.tar.bz2 . 
 bzip2 nvidia-persistenced-init.tar.bz2 
 tar -xf nvidia-persistenced-init.tar 
 ```
 Удаляем старый.
 ```
 rm /etc/systemd/system/nvidia-persistenced.service
 ```
 Устанавливаем.
 ```
 chmod +x nvidia-persistenced-init/install.sh
 ./nvidia-persistenced-init/install.sh
 ```
 Проверка, что все ОК.
 ```
 systemctl status nvidia-persistenced.service
 rm -rf nvidia-persistenced-init*
 ```
 Если до этого момента не было ошибок, то можно перезагрузить хост Proxmox. После перезагрузки, введя команду `nvidia-smi`, можно увидеть информацию про видеокарту.
 ```
 root@pve1:~# nvidia-smi
 Sat Mar  9 12:59:57 2024
 +-----------------------------------------------------------------------------------------+
 | NVIDIA-SMI 550.54.14              Driver Version: 550.54.14      CUDA Version: 12.4     |
 |-----------------------------------------+------------------------+----------------------+
 | GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
 | Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
 |                                         |                        |               MIG M. |
 |=========================================+========================+======================|
 |   0  NVIDIA GeForce GTX 1050 Ti     On  |   00000000:03:00.0 Off |                  N/A |
 |  0%   35C    P8             N/A /   75W |       4MiB /   4096MiB |      0%      Default |
 |                                         |                        |                  N/A |
 +-----------------------------------------+------------------------+----------------------+
 +-----------------------------------------------------------------------------------------+
 | Processes:                                                                              |
 |  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
 |        ID   ID                                                               Usage      |
 |=========================================================================================|
 |  No running processes found                                                             |
 +-----------------------------------------------------------------------------------------+
 ```
 Проверим работу службы:
 ```
 root@pve1:~# systemctl status nvidia-persistenced.service
 ● nvidia-persistenced.service - NVIDIA Persistence Daemon
     Loaded: loaded (/lib/systemd/system/nvidia-persistenced.service; enabled; vendor preset: enabled)
     Active: active (running) since Sat 2024-03-09 00:38:15 +05; 12h ago
    Process: 1543 ExecStart=/usr/bin/nvidia-persistenced --user nvidia-persistenced (code=exited, status=0/SUCCESS)
   Main PID: 1546 (nvidia-persiste)
      Tasks: 1 (limit: 76887)
     Memory: 944.0K
        CPU: 328ms
     CGroup: /system.slice/nvidia-persistenced.service
             └─1546 /usr/bin/nvidia-persistenced --user nvidia-persistenced
 Mar 09 00:38:14 ekb-pve1 systemd[1]: Starting NVIDIA Persistence Daemon...
 Mar 09 00:38:14 ekb-pve1 nvidia-persistenced[1546]: Started (1546)
 Mar 09 00:38:15 ekb-pve1 systemd[1]: Started NVIDIA Persistence Daemon.
 ```
 Проверим, что появились устройства в `/dev/`
 ```
 root@pve1:~# ls -alh /dev/nvidia*
 crw-rw-rw- 1 root root 195,   0 Mar  9 00:38 /dev/nvidia0
 crw-rw-rw- 1 root root 195, 255 Mar  9 00:38 /dev/nvidiactl
 crw-rw-rw- 1 root root 195, 254 Mar  9 00:38 /dev/nvidia-modeset
 crw-rw-rw- 1 root root 511,   0 Mar  9 00:38 /dev/nvidia-uvm
 crw-rw-rw- 1 root root 511,   1 Mar  9 00:38 /dev/nvidia-uvm-tools
 /dev/nvidia-caps:
 total 0
 drwxr-xr-x  2 root root     80 Mar  9 00:38 .
 drwxr-xr-x 21 root root   5.0K Mar  9 03:03 ..
 cr--------  1 root root 236, 1 Mar  9 00:38 nvidia-cap1
 cr--r--r--  1 root root 236, 2 Mar  9 00:38 nvidia-cap2
 ```
 Понять что все хорошо - есть минимум 5 файлов `/dev/nvidia*`.
 ## LXC-контейнер
 Теперь, нужно добавить конфигурацию в LXC-контейнер. Останаливаем работу контейнера и вносим изменения в файле конфигурации LXC.
 Отредактируем `/etc/pve/lxc/101.conf` и добавим:
 ```
 lxc.cgroup2.devices.allow: c 195:* rwm
 lxc.cgroup2.devices.allow: c 237:* rwm
 lxc.cgroup2.devices.allow: c 240:* rwm
 ```
 Монтирование устройств nvidia в контейнер LXC 
 ```
 lxc.mount.entry: /dev/nvidia0 dev/nvidia0 none bind,optional,create=file
 lxc.mount.entry: /dev/nvidiactl dev/nvidiactl none bind,optional,create=file
 lxc.mount.entry: /dev/nvidia-modeset dev/nvidia-modeset none bind,optional,create=file
 lxc.mount.entry: /dev/nvidia-uvm dev/nvidia-uvm none bind,optional,create=file
 lxc.mount.entry: /dev/nvidia-uvm-tools dev/nvidia-uvm-tools none bind,optional,create=file
 lxc.mount.entry: /dev/nvidia-caps/nvidia-cap1 dev/nvidia-caps/nvidia-cap1 none bind,optional,create=file
 lxc.mount.entry: /dev/nvidia-caps/nvidia-cap2 dev/nvidia-caps/nvidia-cap2 none bind,optional,create=file
 ```
 Числа в строках с `cgroup2` взяты из 5 столбца в списках устройств выше (команда `ls -alh /dev/nvidia*`)
 После запускаем контейнер и приступаем к установке драйева Nvidia. Будем ставить без драйеверов ядра.
 ```
 dpkg --add-architecture i386
 apt update
 apt install libc6:i386
 wget -O NVIDIA-Linux-x86_64-550.54.14.run  https://ru.download.nvidia.com/XFree86/Linux-x86_64/550.54.14/NVIDIA-Linux-x86_64-550.54.14.run
 chmod +x NVIDIA-Linux-x86_64-550.54.14.run
 ./NVIDIA-Linux-x86_64-550.54.14.run --check
 ./NVIDIA-Linux-x86_64-550.54.14.run --no-kernel-module
 ```
 Как и для хоста, отказываем от обновления конфигурации X
 После, выполняем reboot контейнеру LXC. Проверим, что все работает используя `ls -alh /dev/nvidia*` и `nvidia-smi`. Вывод будет таким же, как и для хоста.
 ## Docker контейнер
 Буду считать, что Plex уже работает, но транскодинг выполняется на процессоре. 
 Нужно установить **NVIDIA Container Toolkit**:
 ```
 apt install -y curl
 curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
 curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
 apt update
 apt install nvidia-container-toolkit
 systemctl daemon-reload
 systemctl restart docker
 ```
 Проверить, что Docker работает с поддержкой GPU можно через контейнер:
 ```
 user@media:~$ docker run --rm --gpus all nvidia/cuda:11.0.3-base nvidia-smi
 Sat Mar  9 08:17:54 2024
 +-----------------------------------------------------------------------------------------+
 | NVIDIA-SMI 550.54.14              Driver Version: 550.54.14      CUDA Version: 12.4     |
 |-----------------------------------------+------------------------+----------------------+
 | GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
 | Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
 |                                         |                        |               MIG M. |
 |=========================================+========================+======================|
 |   0  NVIDIA GeForce GTX 1050 Ti     Off |   00000000:03:00.0 Off |                  N/A |
 |  0%   35C    P8             N/A /   75W |       4MiB /   4096MiB |      0%      Default |
 |                                         |                        |                  N/A |
 +-----------------------------------------+------------------------+----------------------+
 +-----------------------------------------------------------------------------------------+
 | Processes:                                                                              |
 |  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
 |        ID   ID                                                               Usage      |
 |=========================================================================================|
 |  No running processes found                                                             |
 +-----------------------------------------------------------------------------------------+
 ```
 ## Plex + GPU
 Нужно внести допстрочки в файл docker-compose, чтобы Plex начал видеть нашу видеокарту. Я приведу полный пример, как в итоге должен выглядеть файл.
 ```yaml hl_lines="10-14 29 30"
 version: "3.7"
 services:
  plex:
    container_name: plex
    image: linuxserver/plex:latest 
    profiles:
      - plex
    restart: unless-stopped
    deploy:
      resources:
        reservations:
          devices:
            - capabilities: [gpu]
    ports:
      - "32400:32400"
      - "32400:32400/udp"
    security_opt:
      - no-new-privileges:true
    volumes:
      - ./plex:/config
      - ./plex/temp:/transcode
      - /mnt:/mnt:ro
    environment:
      - ADVERTISE_IP="http://172.18.1.250:32400/"
      - PUID=$PUID
      - PGID=$PGID
      - TZ=$TZ
      - VERSION=docker
      - PLEX_CLAIM=$PLEX_CLAIM
      - NVIDIA_VISIBLE_DEVICES=all
      - NVIDIA_DRIVER_CAPABILITIES=compute,video,utility
 ```
 Проверить что все работает, можно зайдя на свой сервер Plex и запустить какой нить фильм. В статистике, будет что то типо такого:
 ![](../images/proxmox/proxmox-nvidia-1.png)
 ## Обновление
 Каждый раз, когда обновляется ядро, нужно переустановить драйвер на хосте Proxmox. При установке той же версии, что и стояла изначально, процесс прост: перезапустить исходную установку драйвера. В контейнере LXC ничего делать не нужно, так как версия остается той же)
 ```
 ./NVIDIA-Linux-x86_64-550.54.14.run
 reboot
 ```
 ### Обновление драйвера
 При обновлении драйвера Nvidia, нужно выполнеить несколько дополнительных шагов. Если на хосте Proxmox уже есть работающий драйвер, то нужно для анчала удалить старый драйвер (иначе будут проблемы: при выгрузке модуля, будет происходить моментальная его загрузка обратно)
 Удалим старый драйвер
 ```
 ./NVIDIA-Linux-x86_64-510.47.03.run --uninstall
 reboot
 ```
 Если было обновление ядра, то нужно скачать заново заголовки. Для старых версий нужно использовать `pve-headers-$(uname -r)`
 ```
 apt install proxmox-headers-$(uname -r)
 ```
 Установим новую версию. Для примера версия та же что и выше.
 ```
 wget -O NVIDIA-Linux-x86_64-550.54.14.run  https://ru.download.nvidia.com/XFree86/Linux-x86_64/550.54.14/NVIDIA-Linux-x86_64-550.54.14.run
 chmod +x NVIDIA-Linux-x86_64-550.54.14.run
 ./NVIDIA-Linux-x86_64-550.54.14.run --check
 ./NVIDIA-Linux-x86_64-550.54.14.run
 reboot
 ```
 !!! tip
    При установке, будет выбор что ставить дополнительно. В пунктах, перечисленных ниже, нужно ответить **No**
    - install 32bit compability drivers
    - should update X config
 После перезагрузки, проверим что все работает, используя `nvidia-smi`
 Проверим, что номера cgroup не изменились. если нужно, то меняем их под новые значения в файле конфигурации LXC
 Далее, обновляем драйвера в контейнере LXC
 ```
 wget -O NVIDIA-Linux-x86_64-550.54.14.run  https://ru.download.nvidia.com/XFree86/Linux-x86_64/550.54.14/NVIDIA-Linux-x86_64-550.54.14.run
 chmod +x NVIDIA-Linux-x86_64-550.54.14.run
 ./NVIDIA-Linux-x86_64-550.54.14.run --check
 ./NVIDIA-Linux-x86_64-550.54.14.run --no-kernel-module
 ```
 Как и для хоста, отказываем от обновления конфигурации X
 После, выполняем reboot контейнеру LXC. Проверим, что все работает используя `ls -alh /dev/nvidia*` и `nvidia-smi`. Вывод будет таким же, как и для хоста.
 Обновим **NVIDIA Container Toolkit**:
 ```
 curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
 curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
 apt update
 apt install nvidia-container-toolkit
 apt upgrade
 ```
 Перезагружаем контейнер LXC. Все должно рбаотать с новым драйвером.
--- a/mkdocs.yml
+++ b/mkdocs.yml
@ -118,6 +118,7 @@ nav:
    - Proxmox VE:
      - proxmox/index.md
      - CT Template: proxmox/ct-template.md
      - Nvidia LXC: proxmox/nvidia-lxc.md
  - Умный дом:
    - Home Assistant:
      - Установка на Debian: smart-home/hass/install-hass-debian.md