Ollama Installation: Lokale LLM-Ausführungsanleitung
Ollama-Installation, lokale LLM-Modelle ausführen (Llama 3, Mistral, Gemma), API-Nutzung, Modellverwaltung, GPU-Beschleunigung und Docker-Deployment.
15 Min.
ollamallmkünstliche intelligenz
Zurück zur Wissensdatenbank6 Artikel
KI & ML Self-Hosting
Anleitungen zum Betrieb von KI-Modellen auf Ihrem eigenen Server
Open WebUI Einrichtung: ChatGPT-ähnliche Oberfläche für lokale KI
Open WebUI mit Docker installieren: Ollama-Integration, Benutzer- und Modellverwaltung, RAG (Dokumentenabfrage), eigene Prompts und Mehrbenutzerbetrieb.
14 Min.
open-webuichatgptkünstliche intelligenz
AI-Modell-Deployment auf GPU-Servern: NVIDIA CUDA Anleitung
NVIDIA-Treiberinstallation, CUDA-Toolkit, nvidia-container-toolkit, Modell-Serving mit vLLM, GPU-Monitoring und AI-Modell-Deployment mit Docker Anleitung.
18 Min.
gpunvidiacuda
Stable Diffusion Einrichtung: Self-Hosted Bilderzeugung
Stable Diffusion installieren: Oberflächen AUTOMATIC1111 und ComfyUI, Modelle, LoRA-Training, ControlNet und selbst gehostete Bilderzeugung mit Docker.
16 Min.
stable-diffusionbilderzeugungkünstliche intelligenz
LocalAI Einrichtung: OpenAI-kompatible Self-Hosted AI-API
LocalAI mit Docker: selbst gehosteter, OpenAI-API-kompatibler KI-Dienst für Texterzeugung, Bilderzeugung, Sprachsynthese, Embeddings und Modellverwaltung.
14 Min.
localaiopenaiapi
Whisper Einrichtung: Self-Hosted Spracherkennung und Transkription
OpenAI Whisper installieren: schnelle Transkription mit faster-whisper, Mehrsprachigkeit, eigener API-Server und Deployment mit Docker.
13 Min.
whisperspracherkennungtranskription
NetzwerkverkehrEingehend— GbpsAusgehend— Gbps