Ollama mit Intel GPU Support

2. Geeignete Docker-Images

Es gibt mehrere Community-Images, die Ollama mit Intel GPU Support bereitstellen:

• ollama-intel → angepasstes Dockerfile für Intel iGPU
• ollama-ipex → nutzt IPEX-LLM für Intel GPUs
• Intel Arc GPU Guide (IPEX) → beschreibt die Einrichtung mit Intel OneAPI

3. Beispiel: Start mit ollama-ipex

docker run --rm -it \ --env SYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS=1 \ --env SYCL_CACHE_PERSISTENT=1 \ --device /dev/dri/card0 \ --device /dev/dri/renderD128 \ --memory="32g" \ --shm-size="16g" \ -p 11434:11434 \ --name ollama-ipex \ visitsb/ollama-ipex:latest

• --device /dev/dri/... → gibt dem Container Zugriff auf die Intel GPU
• --memory und --shm-size → wichtig für große Modelle
• -p 11434:11434 → Ollama läuft standardmäßig auf Port 11434

4. Nutzung mit docker-compose

Du kannst auch ein docker-compose.yml schreiben:

version: "3.9" services: ollama: image: visitsb/ollama-ipex:latest environment: - SYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS=1 - SYCL_CACHE_PERSISTENT=1 devices: - /dev/dri/card0 - /dev/dri/renderD128 ports: - "11434:11434" shm_size: "16g" mem_limit: "32g"

5. Modelle laden

Nach dem Start kannst du wie gewohnt Modelle mit Ollama laden:

ollama run llama2

⚡ Tipps & Stolperfallen

• Treiber: Stelle sicher, dass die Intel GPU-Treiber (Level Zero / OneAPI) korrekt installiert sind.
• Performance: Intel GPUs sind oft langsamer als NVIDIA, aber mit IPEX-LLM optimiert.
• Kompatibilität: Offiziell unterstützt Ollama derzeit nur NVIDIA, Intel-Support ist Community-getrieben.

👉 Fazit: Mit den Images ollama-intel oder ollama-ipex kannst du Ollama problemlos in einem Docker-Container auf einer Intel GPU laufen lassen, solange die Treiber und /dev/dri Geräte korrekt eingebunden sind.

Möchtest du, dass ich dir ein komplettes Beispiel-Skript für Setup + Start + Modell-Download zusammenstelle, das du direkt ausführen kannst?