Установка Ollama: Руководство по локальному запуску LLM
Установка Ollama, запуск локальных LLM моделей (Llama 3, Mistral, Gemma), использование API, управление моделями, GPU-ускорение и развертывание через Docker.
Установка Open WebUI через Docker, интеграция с Ollama, управление пользователями, RAG (запросы к документам), управление моделями и поддержка нескольких пользователей.
Open WebUI (ранее Ollama WebUI) — это открытый проект, предоставляющий современный веб-интерфейс в стиле ChatGPT для ваших локальных LLM-моделей. Интегрируясь с Ollama, он позволяет общаться с ИИ-моделями через браузер, загружать документы и выполнять запросы к ним с помощью RAG (Retrieval-Augmented Generation).
Open WebUI — это комплексный веб-интерфейс для self-hosted ИИ. Основные возможности:
| Компонент | Минимум | Рекомендуется |
|---|---|---|
| RAM | 4 ГБ (для UI) | 8 ГБ+ |
| Диск | 5 ГБ | 10 ГБ+ |
| Docker | 20.10+ | Последняя версия |
| Ollama | Установлен и работает | На том же сервере или в сети |
docker run -d \
--name open-webui \
-p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
-v open-webui:/app/backend/data \
--restart unless-stopped \
ghcr.io/open-webui/open-webui:main
docker run -d \
--name open-webui \
-p 3000:8080 \
--gpus all \
-v ollama:/root/.ollama \
-v open-webui:/app/backend/data \
--restart unless-stopped \
ghcr.io/open-webui/open-webui:ollama
version: '3.8'
services:
ollama:
image: ollama/ollama
container_name: ollama
ports:
- "11434:11434"
volumes:
- ollama_data:/root/.ollama
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities: [gpu]
restart: unless-stopped
open-webui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
ports:
- "3000:8080"
environment:
- OLLAMA_BASE_URL=http://ollama:11434
- WEBUI_SECRET_KEY=strong-secret-key-here
- ENABLE_SIGNUP=true
- DEFAULT_USER_ROLE=pending
volumes:
- open-webui_data:/app/backend/data
depends_on:
- ollama
restart: unless-stopped
volumes:
ollama_data:
open-webui_data:
Запуск:
docker compose up -d
Откройте в браузере http://IP_СЕРВЕРА:3000.
Первый зарегистрированный пользователь автоматически становится администратором:
Создайте первого пользователя сразу. Иначе кто-то другой может стать администратором. После регистрации установите ENABLE_SIGNUP=false для закрытия регистрации.
llama3.1)docker exec -it ollama ollama pull llama3.1
docker exec -it ollama ollama pull mistral
docker exec -it ollama ollama pull codellama
Open WebUI поддерживает загрузку документов и запросы на основе документов:
Admin Panel → Settings → Documents:
Chunk Size: 1000
Chunk Overlap: 200
Embedding Model: nomic-embed-text
Top K: 5
docker exec -it ollama ollama pull nomic-embed-text
ENABLE_SIGNUP=true
DEFAULT_USER_ROLE=pending
ENABLE_LOGIN_FORM=true
Для каждой модели можно задать свой системный промпт:
Ты технический ассистент поддержки.
Специализируешься на управлении серверами, Docker, Linux и сетях.
Отвечай на русском языке.
Добавляй примеры кода.
Объясняй пошагово.
server {
listen 443 ssl http2;
server_name ai.example.com;
ssl_certificate /etc/letsencrypt/live/ai.example.com/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/ai.example.com/privkey.pem;
location / {
proxy_pass http://localhost:3000;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
}
client_max_body_size 100M;
}
docker compose pull
docker compose up -d
# Логи Open WebUI
docker logs open-webui
# Тест подключения к Ollama
docker exec open-webui curl -s http://ollama:11434/api/tags
# Статус контейнеров
docker ps | grep -E 'open-webui|ollama'
Установите свою альтернативу ChatGPT с Open WebUI на VPS-серверах REXE. Ваши данные полностью под вашим контролем.
Да, Open WebUI может подключаться к любому OpenAI-совместимому API. Вы можете использовать его с vLLM, LocalAI или даже с API OpenAI, указав соответствующий URL и ключ API.
Загрузите модель эмбеддингов (nomic-embed-text) через Ollama, затем в настройках Documents установите параметры Chunk Size и Top K. После этого загружайте документы через интерфейс чата.
Рекомендуется использовать Nginx reverse proxy с SSL-сертификатом. Отключите регистрацию (ENABLE_SIGNUP=false) после создания нужных учётных записей. Используйте надёжный WEBUI_SECRET_KEY.
Open WebUI поддерживает неограниченное количество пользователей. Ограничением является производительность сервера и модели Ollama. Каждый запрос к модели обрабатывается последовательно, если не настроен параллелизм.
Все данные хранятся в Docker volume open-webui_data. Для резервного копирования используйте docker cp или создайте бэкап volume. История чатов, настройки и загруженные документы сохраняются в этом volume.
Установка Ollama, запуск локальных LLM моделей (Llama 3, Mistral, Gemma), использование API, управление моделями, GPU-ускорение и развертывание через Docker.
Установка драйверов NVIDIA, CUDA toolkit, nvidia-container-toolkit, обслуживание моделей с vLLM, мониторинг GPU и развёртывание ИИ-моделей с Docker.
Установка Stable Diffusion, интерфейсы AUTOMATIC1111 и ComfyUI, загрузка моделей, обучение LoRA, использование ControlNet и Docker self-hosted генерация изображений.