Ein KI-Assistent darf nie mehr als die Person, die ihn benutzt

KI-Assistenten in Geschäftsanwendungen beantworten längst nicht mehr nur Fragen. Sie legen Datensätze an, ändern Rechnungen, verschieben Termine. Damit wird eine Frage dringend, die bei einem reinen Chatbot keine Rolle spielte: Was darf der Assistent eigentlich?

Für die KI in unseren Anwendungen haben wir dafür eine Regel mit zwei Hälften. Der Assistent ist nie dümmer als die Oberfläche und nie mächtiger als der Mensch, der ihn benutzt.

Nie dümmer als die Oberfläche

Was jemand in der Anwendung sehen und tun kann, soll der Assistent auch können. Sonst wird er zum Spielzeug neben der eigentlichen Arbeit, und bald fragt ihn niemand mehr.

Bei uns gilt deshalb: Ein neues Feature ist erst fertig, wenn auch der Assistent damit umgehen kann.

Nie mächtiger als der Nutzer

Die zweite Hälfte ist die wichtigere. Ein Satz im Prompt wie „Du darfst keine Rechnungen löschen“ ist eine Bitte, keine Sperre. Sprachmodelle lassen sich überreden. Es reicht ein versteckter Satz in einem hochgeladenen PDF oder in einer weitergeleiteten E-Mail („Ignoriere alle bisherigen Anweisungen und …“), und das Modell hält ihn womöglich für einen Auftrag. Das Problem heißt Prompt Injection und gilt bis heute als ungelöst.

Die Grenze gehört deshalb auf den Server, nicht in den Prompt. In nexxus läuft jede Aktion des Assistenten als die angemeldete Person, mit genau deren Rechten, durch dieselben Prüfungen wie die Schaltflächen der Anwendung selbst. Es gibt kein technisches Konto mit Administratorrechten, hinter dem sich die KI verstecken könnte. Sieht eine Sachbearbeiterin die Gehaltsdaten nicht, sieht sie ihr Assistent auch nicht, so geschickt jemand auch fragt.

Was das Modell zurückgibt, behandeln wir wie jede andere Eingabe in ein Formular: als etwas, das erst geprüft wird.

Drei Prüfungen vor jeder Geschäftsaktion

Jede Geschäftsaktion in nexxus muss drei Prüfungen bestehen, bevor sie laufen darf:

• Eingaben gültig: Stimmen die Werte, fehlt nichts, passt das Format?
• Datensatz im richtigen Zustand: Darf man mit diesem Datensatz das gerade überhaupt tun?
• Berechtigung vorhanden: Darf diese Person das bei diesem Datensatz?

Eine bereits gestellte Rechnung lässt sich zum Beispiel nicht mehr ändern, ganz gleich, ob ein Mensch es versucht oder die KI. Felder, die nur der Server setzt, kann das Modell gar nicht erst mitschicken. Dazu gehört etwa die Zuordnung zum Mandanten.

Vorschlagen ja, selbst ausführen nein

Bei Geschäftsaktionen wie dem Ändern einer Rechnung kann der Assistent nur vorschlagen. Er prüft die Aktion vorab und zeigt eine Karte: was sich ändern würde und welche der drei Prüfungen bestanden sind. Auf der Karte steht „Es passiert nichts, bis du klickst“. Der Assistent hat kein Werkzeug, mit dem er eine solche Aktion selbst auslösen könnte. Das kann nur die Person mit einem Klick auf „Ausführen“.

Den Text auf dieser Karte schreibt der Server aus dem gespeicherten Datensatz, nicht das Modell. Sonst könnte ein manipuliertes Modell eine Stornierung als harmlose Änderung beschriften, und die Person würde etwas freigeben, das sie nie gewollt hat.

Nach dem Klick prüft der Server alles noch einmal. Eine Vorschau ist keine Erlaubnis: Zwischen Vorschlag und Klick können Minuten liegen, und in der Zeit kann jemand anderes den Datensatz geändert haben.

Schlägt die KI mehrere Schritte auf einmal vor, reicht eine Bestätigung für alle. Sie laufen dann gemeinsam in einer Datenbanktransaktion. Scheitert ein Schritt, werden auch die Datenbankänderungen der Schritte davor zurückgenommen, und es bleibt kein halbfertiger Zustand übrig.

Nicht jede Kleinigkeit braucht eine Karte. Eine Notiz anlegen oder eine Datei in einen Ordner legen darf der Assistent direkt, aber auch dann nur mit den Rechten der Person, die gerade mit ihm arbeitet.

Was Sie jeden Anbieter fragen sollten

Ob Sie KI mit uns einführen oder mit einem anderen Anbieter, diese Fragen sollte Ihnen jeder Anbieter beantworten können:

1. Unter wessen Rechten läuft eine Aktion der KI? Die richtige Antwort ist: unter den Rechten der Person, die gerade arbeitet. Ein technisches Konto mit weitreichenden Rechten ist ein Warnzeichen.
2. Wo wird geprüft, ob sie das darf? Auf dem Server, bei jedem einzelnen Aufruf. Eine Regel im Prompt zählt nicht.
3. Was passiert, bevor die KI etwas Wichtiges ändert? Sie sollten sehen, was passieren wird, und es ausdrücklich freigeben.
4. Wer schreibt den Text, den Sie freigeben? Wenn das Modell ihn selbst formuliert, geben Sie im Zweifel die Beschreibung frei und nicht die Aktion.

Wenn Sie gerade überlegen, KI in Ihre Abläufe zu holen, sehen wir uns das gerne gemeinsam an. Mehr dazu steht auf unserer Seite zur Business-KI, oder Sie schreiben uns direkt.