Lokale Sprach-KI / Leitfaden 4 von 7

Führen Sie ein lokales Sprachmodell aus

Machen Sie einen lokalen Chat-Endpunkt mit LM Studio oder Ollama verfügbar.

Wählen Sie den Modellserver aus und starten Sie ihn

NautPins KI-Textkorrektur kann jeden OpenAI-kompatiblen Chat-Endpunkt ansprechen. Unter macOS bieten sich LM Studio und Ollama an. Wählen Sie die für Sie passende Variante. NautPin braucht nur eine erreichbare API.

LM Studio (GUI-first, empfohlen für Ersteinrichtung)

Laden Sie LM Studio herunter von der offiziellen Website. Ziehen Sie die App nach /Applications.

In LM Studio:

Suchen Sie nach a compatible instruction-tuned model und laden Sie es herunter. Auch ein anderes kleines, auf Anweisungen abgestimmtes Modell ist möglich, etwa Qwen 2.5 7B Instruct.
Öffnen Sie den Reiter Developer über das Symbol </> in der linken Seitenleiste.
Laden Sie das Modell und setzen Sie den API-Server auf Running. Prüfen Sie den Port. Der Standard ist 1234.

Überprüfen Sie, ob die API funktioniert:

bash

curl http://127.0.0.1:1234/v1/models | head -c 300

In der Antwort sollte der Name Ihres geladenen Modells angezeigt werden.

Endpunkt zur Verwendung in NautPin: http://127.0.0.1:1234/v1

Ollama (CLI-first, ressourcenschonender)

Dieselbe Idee, aber kopflos und skriptfähig. Keine GUI, kein Electron, weniger bewegliche Teile. Passt gut, wenn Sie mit dem Terminal vertraut sind oder Ollama bereits für andere Projekte verwenden.

bash

brew install ollama
brew services start ollama          # auto-starts on login
ollama pull gemma3:4b               # or qwen2.5:7b, llama3.2:3b, etc.

Überprüfen Sie:

bash

curl http://127.0.0.1:11434/v1/models

In der Antwort sollte Ihr heruntergeladenes Modell erscheinen. Ollama stellt die OpenAI-kompatible API automatisch unter /v1 bereit. Sie müssen keinen separaten Entwicklermodus aktivieren.

Endpunkt zur Verwendung in NautPin: http://127.0.0.1:11434/v1

Was man auswählen soll

	LM Studio	Ollama
Schnittstelle	Polierte Benutzeroberfläche	CLI + Taskleistensymbol
Einfache Einrichtung (zum ersten Mal)	Einfacher	Etwas steiler
Ressourcen-Fussabdruck	Schwerer (GUI)	Leichter
MLX-Unterstützung auf Apple Silicon	Ja (beste Leistung)	Ja
Am besten für	Modelle durchstöbern/ausprobieren, Einsteiger	Headless-Server, skriptgesteuerte Verwendung

Für die meisten Leser gilt: LM Studio zuerst, wechseln Sie später zu Ollama, wenn Sie einen geringeren Overhead wünschen. Beide Programme führen lokale Modelle aus und bieten dieselbe API-Struktur. Beim Wechsel muss in NautPin daher nur eine URL geändert werden.

Es funktioniert, wenn

Der Modellendpunkt gibt das von Ihnen geladene Modell zurück. Behalten Sie die genaue Modell-ID und Basis-URL für die NautPin-Konfiguration bei.