https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html
sudo apt-get install -y nvidia-cuda-toolkit
Überprüfe, ob der NVIDIA Container Toolkit korrekt installiert ist:
nvidia-container-cli -V
Es sieht so aus, als ob du das Problem mit dem NVIDIA-Container-Toolkit hast. Hier sind einige Lösungen, die du ausprobieren kannst:
- Installiere das NVIDIA-Container-Toolkit:
sudo apt-get update sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
Copied
- Starte den Docker-Dienst neu:
sudo systemctl restart docker
Copied
- Überprüfe, ob das NVIDIA-Container-Toolkit korrekt installiert ist:
nvidia-container-cli -V
Copied
- Versuche, den Docker-Container mit der Option --gpus all zu starten:
docker run --gpus all nvidia/cuda:11.6.2-base-ubuntu20.04 nvidia-smi
Copied
Wenn du immer noch Probleme hast, kannst du auch den Befehl docker run mit der Option --runtime=nvidia ausführen:
docker run --runtime=nvidia --gpus all nvidia/cuda:11.6.2-base-ubuntu20.04 nvidia-smi
Copied
Ich hoffe, diese Lösungen helfen dir bei deinem Problem.
Hier ist ein Script, das alle notwendigen Schritte zum Überprüfen der CUDA-Installation und zum Ausführen von OpenWebUI in einem Docker-Container mit CUDA ausführt:
#!/bin/bash
# 1. Überprüfe die NVIDIA-Treiber-Installation
nvidia-smi
# 2. Überprüfe die Version von nvidia-container-cli
nvidia-container-cli -V
# 3. Überprüfe die Installation von nvidia-container-toolkit
dpkg -l | grep nvidia-container-toolkit
# 4. Überprüfe die Konfiguration von nvidia-container-toolkit
cat /etc/nvidia-container-toolkit/config.toml
# 5. Überprüfe die Verfügbarkeit von CUDA
nvcc --version
# 6. Überprüfe die Installation von Docker
docker --version
# 7. Überprüfe die Verfügbarkeit von OpenWebUI
docker images | grep open-webui
# 8. Starte den OpenWebUI-Container mit CUDA
docker run --gpus all -d --name open-webui open-webui:cuda
Dieses Script überprüft die NVIDIA-Treiber-Installation, die Version von nvidia-container-cli, die Installation von nvidia-container-toolkit, die Konfiguration von nvidia-container-toolkit, die Verfügbarkeit von CUDA, die Installation von Docker, die Verfügbarkeit von OpenWebUI und startet den OpenWebUI-Container mit CUDA.