Ollama Installation: Lokale LLM-Ausführungsanleitung

curl -fsSL https://ollama.com/install.sh | sh

systemctl status ollama

# Binary herunterladen
curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/local/bin/ollama
chmod +x /usr/local/bin/ollama

# Ollama-Benutzer erstellen
useradd -r -s /bin/false -m -d /usr/share/ollama ollama

# Systemd-Servicedatei
cat > /etc/systemd/system/ollama.service << 'EOF'
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="HOME=/usr/share/ollama"

[Install]
WantedBy=default.target
EOF

systemctl daemon-reload
systemctl enable --now ollama

docker run -d \
  --name ollama \
  -p 11434:11434 \
  -v ollama_data:/root/.ollama \
  ollama/ollama

docker run -d \
  --name ollama \
  --gpus all \
  -p 11434:11434 \
  -v ollama_data:/root/.ollama \
  ollama/ollama

version: '3.8'
services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    ports:
      - "11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    restart: unless-stopped

volumes:
  ollama_data:

# Llama 3.1 8B Modell
ollama pull llama3.1

# Mistral 7B
ollama pull mistral

# Google Gemma 2 9B
ollama pull gemma2

# Interaktiver Chat
ollama run llama3.1

# Einzelne Abfrage
ollama run llama3.1 "Wie überprüfe ich die Festplattennutzung unter Linux?"

# Installierte Modelle auflisten
ollama list

# Modellinformationen
ollama show llama3.1

# Modell löschen
ollama rm mistral

# Laufende Modelle anzeigen
ollama ps

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [
    {"role": "system", "content": "Du bist ein hilfreicher Assistent."},
    {"role": "user", "content": "Was ist Docker?"}
  ],
  "stream": false
}'

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1",
  "prompt": "Schreibe eine Nginx Reverse-Proxy-Konfiguration",
  "stream": false
}'

import requests

def chat_with_ollama(prompt, model="llama3.1"):
    response = requests.post(
        "http://localhost:11434/api/chat",
        json={
            "model": model,
            "messages": [{"role": "user", "content": prompt}],
            "stream": False
        }
    )
    return response.json()["message"]["content"]

result = chat_with_ollama("Wie sortiere ich eine Liste in Python?")
print(result)

# Modelfile
FROM llama3.1

SYSTEM """Du bist ein REXE Technology technischer Support-Assistent.
Du hilfst bei Serververwaltung, Docker, Linux und Netzwerkthemen."""

PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER num_ctx 4096

ollama create rexe-assistant -f Modelfile
ollama run rexe-assistant

# NVIDIA-Treiber prüfen
nvidia-smi

# CUDA-Version
nvcc --version

curl -fsSL https://ollama.com/install.sh | OLLAMA_ACCELERATION=rocm sh

# Docker mit AMD GPU
docker run -d \
  --name ollama \
  --device /dev/kfd \
  --device /dev/dri \
  -p 11434:11434 \
  -v ollama_data:/root/.ollama \
  ollama/ollama:rocm

export OLLAMA_NUM_GPU=1
export OLLAMA_GPU_MEMORY=6144
export OLLAMA_MAX_LOADED_MODELS=2
export CUDA_VISIBLE_DEVICES=0

# /etc/systemd/system/ollama.service.d/override.conf
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_MODELS=/data/ollama"
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_MAX_LOADED_MODELS=2"
Environment="OLLAMA_KEEP_ALIVE=5m"

systemctl daemon-reload
systemctl restart ollama

# RAM sparen mit quantisierten Modellen
ollama pull llama3.1:8b-q4_0    # 4-Bit (~4,7 GB)
ollama pull llama3.1:8b-q5_1    # 5-Bit (~5,7 GB)
ollama pull llama3.1:8b-q8_0    # 8-Bit (~8,5 GB)

# Kontextfenster-Einstellung
ollama run llama3.1 --num-ctx 2048