NautsKI-Software & Forschung
Zurück zu NautGate

NautGate / Anleitung 2 von 3 / 2 Minuten Lesezeit

Wie NautGate den Pfad sichtbar macht

NautGate empfängt eine verbundene Anfrage, wendet eine genehmigte Route an und zeichnet die zur Überprüfung erforderlichen Antwortinformationen auf.

Der Grund

Ich wollte wissen, was mein LLM eigentlich macht.

Das gleiche Modell könnte sich von Woche zu Woche anders anfühlen. Ich wollte eine Aufzeichnung, die ich prüfen konnte, anstatt zu raten, was sich geändert hatte.

NautGate entwickelte sich von diesem Überwachungstool zu einem Gateway für verbundene Anwendungen und Agenten. Es erfasst deren Nutzung, kontrolliert Musterrouten und kann unterzeichnete Nachweise für eine spätere Prüfung erstellen.

48Nauts / Produkthandbücher

1. Einen Workflow über NautGate ausführen

Ihre Anwendung sendet eine Modellanfrage über NautGate. Bei der Routenauswahl werden die konfigurierten Datenschutz-, Leistungs- und Verfügbarkeitsanforderungen angewendet. Eine automatisch weitergeleitete Anfrage kann ein Entscheidungsmodell verwenden, um die Auswahl zwischen genehmigten Modellen zu erleichtern.

Eine vertrauliche Route benötigt explizites Verhalten, wenn ihr lokales Modell nicht verfügbar ist. Die konfigurierte vertrauliche Route blockiert diese Anfrage, anstatt sie stillschweigend an einen Cloud-Fallback zu senden.

  1. 01Anfrage der Anwendung
  2. 02Routingprüfungen
  3. 03Zugelassenes Modell

2. Nachweise passend zum Bedarf aufzeichnen

Das Gateway empfängt die Antwort und zeichnet verfügbare Modell-, Latenz-, Nutzungs- und Kosteninformationen auf. Die Identität des bedienten Modells in diesem Datensatz wird vom Anbieter gemeldet. Es handelt sich nicht um eine Überprüfung der Modelldateien des Anbieters.

Eingabeaufforderung und Antworterfassung folgen der Aufzeichnungsrichtlinie. Metadaten können einen Grossteil einer Anfrage erklären, ohne den ursprünglichen Wert beizubehalten. Wenn personenbezogene Daten die Anwendung nicht verlassen müssen, verwenden Sie einen lokalen Reduzierungsschritt wie Bowden-PII, bevor die Anfrage fortgesetzt wird.

3. Überprüfen und handeln

Verwenden Sie den Anfrageverlauf, um Ausgaben, Änderungen im Modellverhalten und Routenentscheidungen zu untersuchen. Alarmregeln und Integrationen bestimmen, welche Ereignisse zu einer Benachrichtigung oder Folgearbeit führen.

Vereinbaren Sie die Übergabe an den Orchestrator, wenn sich ein Ereignis auf den ausgeführten Agenten auswirken soll. Testen Sie die Abdeckung, Warnungen und Übergabe mit einem repräsentativen Workflow, bevor Sie sich darauf verlassen. Durch die optionale HSM-Signierung können erfasste Kontrollpunkte unabhängig überprüfbar gemacht werden. Es verwandelt nicht erfasste Aktivitäten nicht in Nachweise.