Lokale KI auf dem PC nutzen: Ollama und Open WebUI datensparsam einrichten

Du willst einen Vertrag zusammenfassen, private Notizen sortieren oder eine Bewerbung überarbeiten, aber den Text nicht bei einem Cloud Chatbot hochladen. Genau dafür ist lokale KI interessant: Das Sprachmodell läuft auf deinem PC, deine Eingaben bleiben im eigenen Netzwerk und du entscheidest selbst, welche Daten gespeichert werden.

Ollama übernimmt dabei den Betrieb der Modelle. Open WebUI liefert die komfortable Chat Oberfläche im Browser. Zusammen entsteht ein privater KI Assistent, der sich ähnlich unkompliziert bedienen lässt wie bekannte Online Dienste, aber ohne automatischen Upload deiner Prompts an einen KI Anbieter.

Wichtig ist trotzdem eine realistische Erwartung: Lokale Modelle sind je nach PC langsamer und bei komplexen Aufgaben oft weniger treffsicher als die größten Cloud Modelle. Für Zusammenfassungen, Textentwürfe, Umformulierungen, Ideenlisten, Übersetzungen und Fragen zu eigenen Dokumenten kann das Setup aber sehr gut passen.

Was lokal wirklich bedeutet

Bei einer lokalen Installation verarbeitet Ollama deine Anfrage auf deinem Rechner. Das Modell wird einmal heruntergeladen und anschließend aus dem lokalen Speicher geladen. Open WebUI läuft ebenfalls auf deinem PC oder einem eigenen Server im Heimnetz.

Das schützt deine Daten vor dem üblichen Cloud Upload, ersetzt aber keine grundlegende IT Sicherheit. Wer Zugriff auf deinen PC, dein Benutzerkonto oder die Weboberfläche hat, kann unter Umständen auch Chats und hochgeladene Dokumente sehen.

Prüfe deshalb vor dem Start diese Punkte:

• Dein PC sollte mit einem sicheren Benutzerkennwort geschützt sein.
• Die Festplatte sollte verschlüsselt sein, etwa mit BitLocker unter Windows oder FileVault auf dem Mac.
• Installiere Ollama, Docker und Open WebUI nur aus den offiziellen Quellen.
• Öffne die Oberfläche nicht ungeschützt für das gesamte Internet.
• Sichere wichtige Daten weiterhin separat. Eine lokale KI ist kein Backup. Die passende Grundlage erklärt auch unser Beitrag zur 3-2-1-Regel für Backups.

Welche Hardware du realistisch brauchst

Die wichtigste Ressource für lokale Sprachmodelle ist Arbeitsspeicher. Eine dedizierte Grafikkarte kann die Antworten deutlich beschleunigen, ist für den Einstieg aber nicht zwingend nötig.

Für einfache Chats mit kleinen Modellen ist ein aktueller PC oder Mac mit 16 GB Arbeitsspeicher eine vernünftige Untergrenze. Mit 32 GB Arbeitsspeicher hast du mehr Auswahl und kannst Modelle nutzen, die bei längeren Texten stabiler antworten. Auf älteren Notebooks mit 8 GB RAM läuft lokale KI häufig sehr zäh oder gar nicht sinnvoll.

Eine Nvidia Grafikkarte mit eigenem Grafikspeicher hilft besonders unter Windows und Linux. Für kleine Modelle sind 8 GB Grafikspeicher bereits nützlich. Apple Macs mit Apple Silicon eignen sich ebenfalls gut, weil Prozessor und Grafik auf gemeinsamen Arbeitsspeicher zugreifen. Entscheidend ist auch dort: 16 GB sind besser als 8 GB, 24 GB oder mehr schaffen Reserven.

Dein Gerät	Sinnvolle Modellgröße	Erwartung
16 GB Arbeitsspeicher ohne starke Grafikkarte	3 bis 4 Milliarden Parameter	Gut für kurze Texte und Fragen
32 GB Arbeitsspeicher oder 8 GB Grafikspeicher	7 bis 8 Milliarden Parameter	Solider Allround Einsatz
32 GB und mehr plus leistungsfähige Grafikkarte	12 Milliarden Parameter und mehr	Bessere Antworten, höherer Ressourcenbedarf

Die Parameterzahl allein entscheidet nicht über die Qualität. Sie zeigt aber grob, wie groß und anspruchsvoll ein Modell ist. Zusätzlich nutzen lokale Tools meist komprimierte Modellvarianten. Diese brauchen weniger Speicher, können aber etwas an Genauigkeit verlieren.

Ollama installieren und ein erstes Modell starten

Lade Ollama für Windows, macOS oder Linux von der offiziellen Projektseite herunter und installiere das Programm. Unter Windows und macOS läuft Ollama anschließend meist im Hintergrund. Das erkennst du am Symbol im Infobereich oder an der laufenden Anwendung.

Öffne danach Terminal, PowerShell oder die Eingabeaufforderung. Für einen ersten Test eignen sich kleine, aktuelle Allround Modelle. Gute Startpunkte sind:

• qwen3:4b für vielseitige Texte, Fragen und häufig auch gute deutsche Antworten
• gemma3:4b für kompakte Aufgaben und einen vergleichsweise moderaten Ressourcenbedarf
• llama3.2:3b für besonders sparsame Hardware und einfache Alltagsaufgaben

Starte zum Beispiel mit dem Befehl ollama run qwen3:4b. Beim ersten Aufruf lädt Ollama das Modell herunter. Danach erscheint direkt ein Chat im Terminal. Stelle eine einfache Testfrage wie: „Fasse diesen Absatz in drei neutralen Sätzen zusammen.“

Wenn das Modell zu langsam reagiert, probiere ein kleineres Modell aus. Wenn die Antworten zu oberflächlich bleiben und dein PC genügend Reserven hat, wechsle zu einer größeren Variante. Lade nicht wahllos viele Modelle herunter: Sie belegen schnell mehrere Gigabyte Speicherplatz. Wie du Speicherfresser findest, zeigt unser Ratgeber Google Fotos Speicherplatz freigeben, die dort beschriebene Aufräumlogik gilt auch für lokale KI Dateien.

Open WebUI als bequeme Oberfläche einrichten

Ollama im Terminal funktioniert, Open WebUI ist im Alltag aber komfortabler. Die Oberfläche läuft im Browser, verwaltet Chats und bietet Einstellungen für Modelle, Systemanweisungen und Benutzerkonten.

Für Einsteiger ist Docker Desktop der praktischste Weg. Installiere Docker Desktop und starte das Programm. Unter Windows kann Docker zusätzlich die Linux Umgebung WSL einrichten wollen. Folge dabei den Hinweisen des Installers und starte den PC neu, falls du dazu aufgefordert wirst.

Öffne anschließend PowerShell oder Terminal und führe diesen Befehl aus:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Der Download kann beim ersten Mal dauern. Öffne danach im Browser http://localhost:3000. Beim ersten Besuch legst du ein lokales Konto an. Open WebUI sollte Ollama auf demselben PC automatisch erkennen. Falls nicht, prüfe in den Einstellungen den Ollama Server. Die Adresse lautet üblicherweise http://host.docker.internal:11434.

Wähle danach oben im Chat eines deiner installierten Modelle aus. Nun kannst du Chats anlegen, Texte einfügen und Antworten lokal erzeugen lassen.

So behandelst du sensible Dokumente sinnvoll

Auch mit lokaler KI solltest du nur die Daten eingeben, die für die Aufgabe nötig sind. Ersetze Namen, Anschriften, Kundennummern und Kontodaten, wenn sie für die gewünschte Zusammenfassung keine Rolle spielen. Bei besonders vertraulichen Dokumenten solltest du außerdem prüfen, ob Open WebUI Chatverläufe dauerhaft speichert.

Gib dem Modell eine klare Aufgabe. Statt „Prüfe diesen Vertrag“ ist diese Anweisung besser: „Fasse die Kündigungsfristen, Zahlungsbedingungen und Pflichten beider Seiten zusammen. Nenne unklare Formulierungen, aber gib keine Rechtsberatung.“

Lokale Sprachmodelle können überzeugend formulieren und trotzdem Fehler machen. Kontrolliere daher Zahlen, Fristen, Zitate und fachliche Aussagen immer im Original. Das gilt besonders für medizinische, rechtliche und finanzielle Unterlagen.

Wenn du KI auch in Meetings einsetzen möchtest, beachte zusätzlich Einwilligungen und Datenschutzregeln. Unser Beitrag zu KI Meeting Assistenten für Teams und Zoom erklärt, worauf es bei Aufzeichnungen und Mitschriften ankommt.

Zugriff im Heimnetz sicher einrichten

Du kannst Open WebUI auf einem PC oder kleinen Heimserver laufen lassen und vom Laptop, Tablet oder Smartphone im WLAN öffnen. Dazu muss Docker den Port nicht nur für den lokalen Rechner, sondern im Netzwerk bereitstellen. Die Adresse sieht dann etwa so aus: http://192.168.178.25:3000.

Bevor du das nutzt, sind diese Regeln wichtig:

• Richte in Open WebUI für jede Person ein eigenes Konto ein.
• Verwende ein langes, einzigartiges Passwort.
• Beschränke den Zugriff auf dein eigenes WLAN.
• Leite Port 3000 niemals im Router ins Internet weiter.
• Aktualisiere Ollama, Docker und Open WebUI regelmäßig.
• Prüfe nach Updates, ob die Benutzerkonten und Zugriffsregeln noch aktiv sind.

Sobald du von außerhalb deines Heimnetzes zugreifen willst, wird die Einrichtung deutlich anspruchsvoller. Ein ungeschützter Webdienst im Internet ist keine gute Lösung. Nutze dafür eher einen sicheren Fernzugang oder ein VPN, wenn du dessen Einrichtung beherrschst. Wann ein VPN tatsächlich sinnvoll ist, liest du in unserem Beitrag VPN sinnvoll nutzen.

Die beste Startkonfiguration

Für die meisten Einsteiger ist diese Kombination vernünftig: ein PC mit mindestens 16 GB Arbeitsspeicher, Ollama, ein 3 bis 4 Milliarden Parameter großes Modell und Open WebUI nur auf localhost. So testest du ohne Netzwerkfreigabe, ob Geschwindigkeit und Antwortqualität zu deinen Aufgaben passen.

Erst wenn das zuverlässig funktioniert, lohnt sich der Zugriff im Heimnetz oder ein größeres Modell. Lokale KI ist kein magischer Datenschutzschalter. Aber mit einem aktuellen System, verschlüsseltem Speicher, zurückhaltender Netzwerkfreigabe und sorgfältig gewählten Modellen ist sie eine überzeugende private Alternative für viele alltägliche Textaufgaben.