Руководства по запуску моделей ИИ на собственном сервере
Установка Ollama, запуск локальных LLM моделей (Llama 3, Mistral, Gemma), использование API, управление моделями, GPU-ускорение и развертывание через Docker.
Open WebUI в Docker: интеграция с Ollama, управление пользователями и моделями, RAG (запросы к документам) и многопользовательский режим.
Установка драйверов NVIDIA, CUDA toolkit, nvidia-container-toolkit, обслуживание моделей с vLLM, мониторинг GPU и развёртывание ИИ-моделей с Docker.
Stable Diffusion: установка, интерфейсы AUTOMATIC1111 и ComfyUI, модели, обучение LoRA, ControlNet и self-hosted генерация изображений в Docker.
LocalAI в Docker: self-hosted ИИ-сервис с API, совместимым с OpenAI, для генерации текста и изображений, синтеза речи, эмбеддингов и работы с моделями.
Установка OpenAI Whisper, быстрая транскрипция с faster-whisper, многоязычная поддержка, API-сервер, Docker-развёртывание и оптимизация распознавания речи.