ИИ и ML на своём сервере
Руководства по запуску моделей ИИ на собственном сервере
Установка Ollama: Руководство по локальному запуску LLM
Установка Ollama, запуск локальных LLM моделей (Llama 3, Mistral, Gemma), использование API, управление моделями, GPU-ускорение и развертывание через Docker.
Установка Open WebUI: Локальный ИИ с интерфейсом как у ChatGPT
Установка Open WebUI через Docker, интеграция с Ollama, управление пользователями, RAG (запросы к документам), управление моделями и поддержка нескольких пользователей.
Развёртывание ИИ-моделей на GPU-сервере: Руководство по NVIDIA CUDA
Установка драйверов NVIDIA, CUDA toolkit, nvidia-container-toolkit, обслуживание моделей с vLLM, мониторинг GPU и развёртывание ИИ-моделей с Docker.
Установка Stable Diffusion: Self-Hosted генерация изображений
Установка Stable Diffusion, интерфейсы AUTOMATIC1111 и ComfyUI, загрузка моделей, обучение LoRA, использование ControlNet и Docker self-hosted генерация изображений.
Установка LocalAI: Self-Hosted ИИ API, совместимый с OpenAI
Установка LocalAI через Docker, self-hosted ИИ-сервис, совместимый с OpenAI API, генерация текста, создание изображений, синтез речи, эмбеддинги и управление моделями.
Установка Whisper: Self-Hosted распознавание речи и транскрипция
Установка OpenAI Whisper, быстрая транскрипция с faster-whisper, многоязычная поддержка, API-сервер, Docker-развёртывание и оптимизация распознавания речи.