Die Frage, mit der es begann
Vor mehr als einem Jahr begann sich der gleiche LLM-Workflow von Woche zu Woche anders anzufühlen. Kosten wurden verschoben, Ergebnisse geändert und das Verhalten entsprach nicht immer meinen Erwartungen. Ich konnte die Antwort sehen, aber nicht den Weg, der sie hervorbrachte.
Ich hatte damals nicht für jeden Fehlermodus einen Namen. Ich wusste nur, dass ich das Modell, die Route, die Nutzung und die Kosten hinter einer Anfrage sehen musste, bevor ich entscheiden konnte, ob sich etwas geändert hatte. Aus diesem ersten Überwachungstool wurde NautGate.
Machen Sie den Pfad sichtbar
NautGate setzt einen Routing- und Aufzeichnungspunkt zwischen einer verbundenen Anwendung und ihren Modellanbietern. Damit können Sie die durchlaufende Aktivität untersuchen: Welche Anwendung hat die Anfrage gestellt, welche Route hat sie verarbeitet, welches Modell hat der Anbieter gemeldet und welche Nutzung, Latenz und Kosten kamen zurück.
Dies ist bewusst enger gefasst als die Behauptung, alle KI-Aktivitäten zu sehen. Ein Gateway kann eine Anwendung, die es umgeht, nicht beobachten, und eine vom Anbieter gemeldete Modellidentität ist keine Überprüfung der Modelldateien. Die Abdeckung muss entworfen, getestet und überprüft werden.
Verwenden Sie Compliance als Grundlage, nicht als Slogan
Das EU-KI-Gesetz ist risikobasiert. Die Verwendung eines LLM allein macht ein System nicht zu einem hohen Risiko. Eine Organisation muss zunächst ihre Rolle, den Verwendungszweck, die Systemklassifizierung sowie die für diese Verwendung geltenden Bestimmungen und Daten festlegen.
Artikel 4 befasst sich mit der KI-Kompetenz für Anbieter und Betreiber. Bei KI-Systemen mit hohem Risiko befassen sich die Artikel 12, 13, 14 und 26 mit der Protokollierung und Rückverfolgbarkeit, den für die Interpretation von Protokollen erforderlichen Informationen, der menschlichen Aufsicht, der Überwachung und der Aufbewahrung von Protokollen durch den Betreiber. Aufgrund dieser sich überschneidenden Anforderungen lohnte es sich, das Überwachungstool weiterzuentwickeln.
NautGate kann dabei helfen, Aufzeichnungen für verbundenen Datenverkehr zu erstellen und zu überprüfen. Dabei wird kein System klassifiziert, keine Risikobewertung durchgeführt, keine rechtlichen Pflichten festgelegt oder die Compliance festgestellt. Behandeln Sie es als eine technische Kontrolle in einem umfassenderen Governance-, Datenschutz- und Betriebsmodell.
Beobachten Sie, ohne mehr als nötig zu senden
Die nächste Frage ist, was die Organisation mit einer Anfrage verlässt. Die Überwachung sollte kein Grund sein, jede Aufforderung und Antwort aufzubewahren oder weiterzuleiten. Umfang der Aufzeichnung, Aufbewahrung, Zugriff und Löschung erfordern explizite Entscheidungen.
Deshalb sitzt Bowden-PII neben NautGate. Bowden reduziert die unterstützten persönlichen Kennungen lokal, bevor der Text weitergesendet wird, während die Anwendung die Originalwertzuordnung separat behält. Es handelt sich um einen Schritt zur Datenminimierung, nicht um eine Garantie der Anonymität oder einen Ersatz für die Datenschutzbewertung.
Der Thread ist einfach: Verstehen Sie, was das System tut, entscheiden Sie, was es senden darf, und bewahren Sie dann nur die Nachweise auf, die zur Untersuchung und Steuerung des verbundenen Arbeitsablaufs erforderlich sind.