Wenn KI handelt: Warum Agenten begrenzte Vollmachten brauchen

> Dieser Beitrag und sein Artikelbild sind mit Unterstützung generativer KI entstanden. Benjamin Metzig bestimmte den redaktionellen Rahmen, prüfte Inhalt, Quellen und Darstellung und verantwortet die Veröffentlichung.

Eine Terminsoftware darf einen Kalender lesen. Darf sie auch Einladungen verschicken? Ein Einkaufsagent darf Produkte vergleichen. Darf er bestellen, eine Lieferadresse ändern oder eine Rückgabe veranlassen? Und wenn ein KI-System eine E-Mail öffnet, in der zwischen harmlosen Sätzen eine fremde Anweisung steckt: Wessen Auftrag folgt es dann?

Diese Fragen klingen nach Bedienoberfläche. Tatsächlich berühren sie die Sicherheitsarchitektur einer neuen Softwareklasse. KI-Agenten erzeugen nicht nur Antworten. Sie können Werkzeuge aufrufen, Dateien verändern, Nachrichten senden, Code ausführen oder Transaktionen vorbereiten. Dadurch wird aus einem möglichen Denkfehler eine mögliche Handlung.

Die entscheidende Frage lautet deshalb nicht nur, wie intelligent ein Agent ist. Sie lautet: Unter welcher Identität handelt er, welche Vollmacht besitzt er, wann endet sie und welche Spur bleibt zurück?

Kernpunkte

• Ein KI-Agent ist kein Modell mit einem besonders langen Prompt, sondern ein System aus Modell, Werkzeugen, Daten, Speicher und echten Berechtigungen.
• Je mehr Werkzeuge Handlungen auslösen, desto wichtiger werden eigene Identitäten, eng begrenzte Rechte und widerrufbare Delegationen.
• Prompt Injection ist gefährlich, weil Agenten fremden Text als Anweisung missverstehen können. Ein gutes Modell allein löst dieses Architekturproblem nicht.
• Menschliche Freigaben gehören an folgenreiche Grenzen. Wer jede Kleinigkeit bestätigen muss, gewöhnt sich an das Klicken und prüft irgendwann kaum noch.
• Protokolle müssen Auftrag, erteilte Vollmacht, Werkzeugaufruf und Ergebnis verbinden. Nur dann lässt sich später rekonstruieren, wer was veranlasst hat.
• Sichere Agenten brauchen mehrere Schutzschichten: minimale Rechte, kurze Laufzeiten, isolierte Umgebungen, Ausgaben- und Mengenlimits, Prüfungen und einen verlässlichen Stopp.

Aus einer Antwort wird eine Handlung

Ein Chatbot kann einen falschen Satz formulieren. Das ist problematisch, aber zunächst bleibt der Fehler Text. Ein Agent kann aus demselben falschen Schluss eine Datei löschen, eine Rechnung freigeben oder Zugangsdaten an ein fremdes Ziel senden. Sein Risiko entsteht daher nicht allein aus dem Sprachmodell. Es entsteht aus der Verbindung von Modell und Umwelt.

Wie schnell sich diese Verbindung ausbreitet, zeigt eine Auswertung des britischen AI Security Institute. Das Institut untersuchte 177.436 öffentlich registrierte Werkzeuge für das Model Context Protocol zwischen November 2024 und Februar 2026. Softwareentwicklung stellte 67 Prozent der Werkzeuge und 90 Prozent der Downloads. Besonders auffällig: Der Anteil der Werkzeuge, die tatsächlich etwas verändern konnten, stieg im beobachteten Zeitraum von 27 auf 65 Prozent.

Das ist keine vollständige Statistik aller Agenten weltweit. Öffentliche MCP-Verzeichnisse bilden bestimmte Entwicklerökosysteme stärker ab als andere. Trotzdem macht der Befund die Verschiebung sichtbar: Immer mehr Schnittstellen dienen nicht nur dem Lesen, sondern dem Handeln.

Ein älterer Wissenschaftswelle-Beitrag hat agentenbasierte KI zwischen Hype und realen Grenzen eingeordnet. Die nächste Ebene ist nüchterner und konkreter. Sobald ein Agent nützlich handeln soll, braucht er nicht einfach „Zugriff“. Er braucht eine Vollmacht.

Eine Vollmacht ist mehr als ein Passwort

Menschen lösen viele digitale Aufgaben heute mit einem persönlichen Konto. Wer angemeldet ist, darf lesen, schreiben, kaufen oder verwalten – je nach Rolle oft sehr viel. Dieses Modell wird gefährlich, wenn ein Agent dieselbe Sitzung oder denselben dauerhaften Schlüssel übernimmt. Dann erbt er nicht nur die Rechte für seinen Auftrag, sondern möglicherweise alle Rechte seines Nutzers.

Das NIST-Konzeptpapier zu Identität und Autorisierung von Software- und KI-Agenten behandelt Agenten deshalb als eigene digitale Akteure. Eine Organisation muss erkennen können, welcher Agent handelt, wer ihn beauftragt hat und welche Delegation gerade gilt. Das ist mehr als Anmeldung. Identität beantwortet: Wer ist dieses System? Autorisierung beantwortet: Was darf es in diesem Moment tun?

Eine gute Delegation wäre beispielsweise enger als das Nutzerkonto: Dieser Agent darf für 20 Minuten freie Termine im Arbeitskalender lesen und genau einen Entwurf für eine Einladung an drei festgelegte Personen erzeugen. Er darf die Einladung noch nicht senden, keine Kontakte exportieren und keine Einstellungen ändern. Nach Ablauf der Zeit verfällt die Vollmacht.

Solche Grenzen folgen dem Prinzip der geringsten Rechte, auf Englisch least privilege. Der vorläufige NIST Cybersecurity AI Profile überträgt dieses etablierte Sicherheitsprinzip ausdrücklich auf KI-Agenten: Sie sollen nur jene Berechtigungen erhalten, die ihre konkrete Rolle benötigt. Zugleich sollten Zuständigkeiten getrennt werden. Ein System, das eine Zahlung vorbereitet, muss sie nicht auch freigeben dürfen.

Der Agent als verwirrter Stellvertreter

Die besondere Schwierigkeit liegt darin, dass Sprachmodelle Anweisungen und Daten in derselben Form erhalten: als Text. Eine Webseite, eine E-Mail oder ein Dokument kann daher Sätze enthalten, die wie ein neuer Auftrag aussehen. Wenn der Agent diese fremden Sätze höher gewichtet als den ursprünglichen Nutzerwunsch, entsteht eine indirekte Prompt Injection.

Das Sicherheitsproblem ähnelt dem bekannten „confused deputy“ – einem Stellvertreter, der mehr Rechte besitzt als der Angreifer und zu einer unerlaubten Handlung verleitet wird. Der Angreifer braucht dann keinen direkten Zugang zum Kalender oder zur Datenbank. Es genügt, den bevollmächtigten Agenten falsch zu steuern.

Wie real diese Angriffsklasse ist, zeigt AgentDojo, ein auf der NeurIPS 2024 vorgestelltes Testfeld. Die Forschenden bauten 97 realistische Aufgaben und 629 Sicherheitstests rund um E-Mail, Banking und Reisebuchungen. Selbst ohne Angriff scheiterten aktuelle Modelle an manchen Aufgaben; mit eingeschleusten Anweisungen wurden zusätzliche Sicherheitsziele verletzt. Der Befund beweist nicht, dass jeder Agent leicht vollständig übernommen werden kann. Er zeigt aber, dass Zuverlässigkeit und Angriffsschutz getrennt geprüft werden müssen.

Ein späterer Benchmark für Webagenten, WASP auf der NeurIPS 2025, liefert eine wichtige Differenzierung. Einfache, von Menschen formulierte Einschleusungen brachten Agenten je nach Versuchsaufbau in 16 bis 86 Prozent der Fälle dazu, mit dem Angriff zu beginnen. Das vollständige Angriffsziel erreichten sie aber nur in 0 bis 17 Prozent der Fälle. Ein Teil der scheinbaren Sicherheit entstand also daraus, dass die Systeme auch für den Angreifer noch unzuverlässig waren.

Darauf sollte keine Sicherheitsstrategie bauen. Ein Agent kann mit steigender Fähigkeit zugleich nützlicher und gefährlicher werden. Wenn er Aufgaben verlässlicher zu Ende bringt, führt er möglicherweise auch einen falsch übernommenen Auftrag verlässlicher aus.

Warum nicht jede Aktion eine Freigabe braucht

Eine naheliegende Antwort lautet: Dann soll der Mensch eben alles bestätigen. In sensiblen Momenten ist das richtig. Vor einer Überweisung, einem öffentlichen Versand, einer endgültigen Löschung oder der Preisgabe geschützter Daten braucht es eine bewusste Schwelle.

Doch eine Bestätigung vor jedem Werkzeugaufruf ist keine gute Dauerlösung. Wer zehnmal hintereinander auf „Erlauben“ klicken muss, beginnt die Dialoge als Störung zu behandeln. Ein Praxisbericht von Anthropic zur technischen Eindämmung von Agenten beschreibt genau dieses Problem: Nutzer bestätigten rund 93 Prozent der angezeigten Berechtigungsfragen. Die Zahl stammt aus einem einzelnen Anbieterökosystem und ist keine allgemeine Verhaltenskonstante. Sie illustriert aber das bekannte Risiko der Bestätigungsmüdigkeit.

Gute Aufsicht setzt deshalb nicht überall dieselbe Bremse. Sie unterscheidet zwischen umkehrbaren und irreversiblen Schritten, zwischen kleinen und großen Reichweiten, zwischen bekannten und neuen Empfängern. Ein Agent darf vielleicht Entwürfe erstellen, Duplikate in einen Papierkorb verschieben oder einen Test in einer isolierten Umgebung starten. Für einen externen Versand, eine endgültige Löschung oder eine finanzielle Verpflichtung fordert er eine Freigabe mit verständlicher Vorschau.

Die menschliche Entscheidung bleibt damit wichtig, wird aber dort eingesetzt, wo sie tatsächlich Aufmerksamkeit verdient.

Protokolle müssen die Kette lesbar machen

Wenn ein Agent eine Handlung ausführt, reicht ein Eintrag wie „Tool aufgerufen“ nicht. Ein brauchbares Protokoll muss mehrere Ebenen verbinden:

• Welcher Mensch oder Dienst hat den ursprünglichen Auftrag erteilt?
• Welcher Agent und welche Version haben ihn verarbeitet?
• Welche zeitlich begrenzte Vollmacht wurde ausgestellt?
• Welche Datenquelle löste den konkreten Schritt aus?
• Welches Werkzeug wurde mit welchen freigegebenen Parametern aufgerufen?
• Was war das Ergebnis, und wurde es später bestätigt, zurückgerollt oder beanstandet?

Damit wird Logging nicht zur nachträglichen Datensammlung, sondern zur Bedingung von Verantwortlichkeit. Das schließt an den Wissenschaftswelle-Beitrag über KI-Regulierung und Prüfbarkeit an: Ein System wird politisch und organisatorisch erst handhabbar, wenn nicht nur sein Ergebnis, sondern auch sein Weg lesbar ist.

Protokolle lösen allerdings kein Rechteproblem. Ein lückenlos dokumentierter Datenabfluss bleibt ein Datenabfluss. Deshalb müssen Beobachtbarkeit und Begrenzung zusammenkommen.

Sechs Schutzschichten statt einer Zauberregel

Der OWASP-Leitfaden zu agentischen Bedrohungen und Gegenmaßnahmen ordnet Prompt Injection, Werkzeugmissbrauch, Identitätsverwechslung und zu große Privilegien als zusammenhängende Risiken ein. Daraus ergibt sich keine einzelne perfekte Abwehr. Sinnvoll ist eine gestaffelte Architektur:

1. Eigene Identität: Der Agent handelt nicht unsichtbar mit dem persönlichen Hauptkonto eines Menschen.
2. Minimale Vollmacht: Rechte sind auf Aufgabe, Datenbereich, Empfänger, Betrag und Werkzeug begrenzt.
3. Kurze Laufzeit und Widerruf: Berechtigungen verfallen und können sofort entzogen werden.
4. Folgenabhängige Freigaben: Irreversible oder weitreichende Schritte bekommen eine bewusste menschliche Schwelle.
5. Containment und Limits: Dateisystem, Netzwerkziele, Ausgaben, Transaktionen und Aktionszahl bleiben technisch begrenzt.
6. Lesbare Protokolle: Auftrag, Delegation, Handlung und Ergebnis lassen sich im Zusammenhang prüfen.

Hinzu kommen Tests mit absichtlich bösartigen Dokumenten, ungewöhnlichen Werkzeugantworten und unterbrochenen Abläufen. Ein Agent muss nicht nur bei der idealen Demo funktionieren. Er muss sicher scheitern können.

Autonomie beginnt mit dem Recht, Nein zu sagen

In der öffentlichen Debatte klingt Autonomie häufig wie eine Eigenschaft des Modells: Wie lange kann es planen? Wie viele Schritte erledigt es allein? Für den praktischen Einsatz ist eine andere Frage wichtiger: Wie eng kann ein System handeln, ohne für jeden ungefährlichen Schritt auf den Menschen zu warten und ohne bei einem folgenreichen Schritt freie Hand zu haben?

Die Antwort liegt weder in maximaler Freiheit noch in permanentem Mikromanagement. Sie liegt in einer Vollmacht, die konkret genug ist, um missbräuchliche Wege zu versperren, und verständlich genug, damit Menschen ihre Tragweite erkennen.

Ein sicherer Agent ist deshalb nicht der Agent, dem man besonders vertraut. Es ist der Agent, der auch dann nur begrenzten Schaden anrichten kann, wenn Vertrauen, Modellurteil oder Eingangsdaten versagen.