KI & GPU
vLLM für produktive Inferenz: wenn Ollama nicht mehr reicht
vLLM liefert eine OpenAI-kompatible API mit hohem Durchsatz für viele parallele Anfragen. So richtest du es per Docker auf einem ComputeBox-GPU-Server ein — inklusive API-Key, Tuning und Absicherung.
von Ludwig Roth
6. Juli 2026
KI & GPU
Odysseus mit GPU: lokale KI-Modelle auf einem GPU-Server
Für schnelle lokale Modelle braucht Odysseus eine GPU. So aktivierst du NVIDIA-Unterstützung im Docker-Setup und bedienst eigene Modelle auf einem GPU-Server.
von Moritz Möller
3. Juli 2026
KI & GPU
Odysseus: Tipps und Tricks für dein self-hosted AI-Workspace
Hol mehr aus Odysseus heraus: Agenten und MCP, Deep Research und Websuche, E-Mail und Kalender, optionale Features und eine saubere Absicherung.
von Moritz Möller
3. Juli 2026