KI-Agenten sicher einsetzen: Grenzen, Freigaben und Kontrolle
Ein KI-Agent verbindet ein Modell mit Daten und Werkzeugen und kann mehrschrittige Aufgaben bearbeiten. Dadurch entsteht kein einzelnes neues Risiko, sondern eine Wirkungskette: Ungeprüfte Inhalte können Entscheidungen beeinflussen, breite Rechte vergrößern die Folgen und fehlende Protokolle erschweren die Aufklärung. Dieser Leitfaden zeigt, welche Kontrollen vor einem produktiven Einsatz nachweisbar sein sollten.
Risiken nicht nur benennen, sondern mit Nachweisen verbinden
Eine Kontrolle ist erst belastbar, wenn das Team zeigen kann, wo sie greift, wer sie verantwortet und wie ein Fehler erkannt wird.
| Prüffeld | Risiko | Mögliche Auswirkung | Erwarteter Nachweis |
|---|---|---|---|
| Ungeprüfte Inhalte | Direkte oder indirekte Prompt Injection verändert Ziel oder Tool-Auswahl. | Fremde Anweisungen werden wie ein legitimer Arbeitsauftrag behandelt. | Tests mit manipulierten Dokumenten, E-Mails und Tool-Antworten; klare Trennung von Daten und Anweisungen. |
| Zu breite Rechte | Werkzeuge oder Datenquellen sind weiter freigegeben als für die Aufgabe nötig. | Ein Fehler erreicht zusätzliche Dateien, Systeme oder schreibende Aktionen. | Aufgabenspezifische Tool-Liste, Ressourcenbereich und dokumentierte Lese-/Schreibrechte. |
| Datenabfluss | Sensible Inhalte gelangen in Tool-Parameter, Ausgaben oder Protokolle. | Vertrauliche Informationen verlassen den vorgesehenen Arbeitskontext. | Datenklassifizierung, erlaubte Ziele, minimierte Protokolle und Testfälle mit markierten Testdaten. |
| Fehlende Freigabe | Eine folgenreiche Aktion läuft ohne unabhängige Bestätigung. | Nach außen sichtbare oder schwer rückgängig zu machende Änderungen werden ausgeführt. | Risikoklassen, verpflichtende Bestätigung und Abbruchpfad für sensible Aktionen. |
| Lückenhafte Beobachtung | Entscheidung, Tool-Aufruf oder Ergebnis bleiben nicht zusammen nachvollziehbar. | Fehler werden spät erkannt und lassen sich nicht reproduzieren. | Lauf-ID, Auftrag, Tool, Freigabe, Status und Ergebnis mit definierten Aufbewahrungs- und Zugriffsregeln. |
Wann aus einem Chat ein Agent wird
Ein Chat reagiert auf eine Eingabe. Ein Workflow folgt einem vorher festgelegten Ablauf. Ein Agent kann innerhalb eines vorgegebenen Arbeitsraums Zwischenschritte wählen und Werkzeuge einsetzen. Für die Risikobewertung zählt deshalb nicht das Etikett, sondern die konkrete Kombination aus Eingaben, Datenzugriff, Werkzeugen, Handlungsspielraum und möglicher Außenwirkung.
Die Wirkungskette als Prüfmethode
Beginnen Sie beim möglichen Schaden und arbeiten Sie rückwärts: Welche Aktion oder Ausgabe wäre kritisch? Welches Werkzeug und welche Berechtigung machen sie möglich? Welche Daten können die Entscheidung beeinflussen? An welcher Stelle prüft ein Mensch? Welche Laufdaten würden einen Fehler später belegen? Diese Reihenfolge verhindert, dass eine lange Liste allgemeiner Sicherheitsfunktionen die konkrete Aufgabe verdeckt.
- Aufgabe und fachliches Erfolgskriterium eindeutig beschreiben.
- Zulässige Datenquellen, Dateien und Werkzeuge einzeln festlegen.
- Folgenreiche Aktionen und ihre Freigabeperson benennen.
- Erwartete Lauf-, Fehler- und Abbruchnachweise definieren.
Prompt Injection kommt auch aus Dokumenten und Tool-Antworten
Bei einer indirekten Prompt Injection steckt die fremde Anweisung nicht im Auftrag der nutzenden Person, sondern etwa in einer E-Mail, Webseite, Datei oder Tool-Antwort. Ein Agent darf solche Inhalte deshalb nicht automatisch als neue Handlungsanweisung behandeln. Eingaben filtern allein reicht nicht: Daten und Instruktionen müssen getrennt, Tool-Rechte begrenzt und kritische Ausgaben vor der Ausführung geprüft werden.
Werkzeuge nach dem Prinzip der geringsten Rechte freigeben
Ein Agent für eine Berichtsaufgabe benötigt selten denselben Zugriff wie ein Administrationsprozess. Trennen Sie lesende von schreibenden Werkzeugen, begrenzen Sie Ressourcen und Ziele und vermeiden Sie universelle Tools für offene Shell-, Datei- oder Netzwerkzugriffe. Die Freigabe sollte an die Aufgabe und den Workspace gebunden sein, nicht pauschal an das verwendete Modell.
Menschliche Freigabe an der Wirkung ausrichten
Nicht jeder Tool-Aufruf braucht dieselbe Hürde. Eine reine Suche kann anders behandelt werden als das Versenden einer Nachricht, das Ändern eines Datensatzes oder das Löschen einer Datei. Definieren Sie Risikoklassen und verlangen Sie für irreversible, finanzielle, administrative oder extern sichtbare Aktionen eine unabhängige Bestätigung. Die prüfende Person muss dabei Ziel, Parameter und erwartete Wirkung sehen können.
Protokolle müssen eine Entscheidung rekonstruierbar machen
Ein nützliches Laufprotokoll verbindet den ursprünglichen Auftrag mit verwendeten Ressourcen, Tool-Aufrufen, Freigaben, Status und Ergebnis. Gleichzeitig gehört auch das Protokoll in ein Berechtigungskonzept: Es darf keine unnötigen Geheimnisse oder vollständigen sensiblen Inhalte sammeln. Legen Sie Aufbewahrung, Zugriff, Alarmgrenzen und den Ablauf für Sicherheitsvorfälle vor dem Pilotbetrieb fest.
Vor dem Rollout mit realistischen Missbrauchsfällen testen
Benchmarks eines Modells ersetzen keinen Test im tatsächlichen Einsatzkontext. Prüfen Sie den vollständigen Ablauf in einer kontrollierten Umgebung, einschließlich manipulierten Eingaben, nicht verfügbaren Tools, verweigerten Freigaben, Zeitüberschreitungen und unvollständigen Ergebnissen. Wiederholen Sie die Tests nach Änderungen an Modellen, Prompts, Werkzeugen, Berechtigungen oder Datenquellen.
- Direkte und indirekte Prompt-Injection-Versuche einplanen.
- Verbotene Datei-, Daten- und Tool-Zugriffe nachweislich ablehnen lassen.
- Abbruch, Zeitlimit und Kostenlimit unter Last prüfen.
- Fachliche Qualität gegen bekannte Soll-Ergebnisse bewerten.
- Freigaben, Fehler und Sicherheitsereignisse im Protokoll wiederfinden.
Welche Prüfpunkte die AI-Zentrale-Oberfläche sichtbar macht
In der gezeigten Produktoberfläche bündelt ein Workspace zugeordnete Modelle, Dateien, Wissen und Werkzeuge. Angefragte Tool-Nutzung kann im Ablauf sichtbar bestätigt oder abgelehnt werden; Auftrag, Ergebnis, zugehörige Dateien und sichtbare Tool-Aufrufe bleiben in der Laufansicht zusammen. Diese Oberfläche unterstützt die fachliche Abnahme und das organisationsspezifische Berechtigungs-, Test- und Vorfallkonzept, indem sie Auftrag, Tool-Nutzung und Ergebnis nachvollziehbar zusammenführt.
Eine Pilotentscheidung braucht klare Abbruchkriterien
Starten Sie mit einer Aufgabe, deren Wirkung begrenzt und deren Soll-Ergebnis bekannt ist. Ein Pilot ist nicht erfolgreich, weil der Agent eine eindrucksvolle Demonstration liefert, sondern wenn Qualität, Fehlerrate, benötigte Freigaben, Laufzeit und Abbrüche über einen vereinbarten Zeitraum nachvollziehbar bleiben. Erst danach sollten zusätzliche Datenquellen, Werkzeuge oder Automatisierungen freigegeben werden.
Quellen und fachlicher Stand
Stand: 9. August 2026. Die Kontrollmatrix leitet sich aus den folgenden Primär- und Fachquellen ab; produktbezogene Aussagen beziehen sich ausschließlich auf die gezeigte Oberfläche.
- OWASP Cheat Sheet Series
AI Agent Security Cheat Sheet
Risikoklassen, geringste Rechte, menschliche Freigaben, Beobachtbarkeit und adversarielle Tests.
- OWASP Cheat Sheet Series
LLM Prompt Injection Prevention Cheat Sheet
Direkte und indirekte Prompt Injection sowie die Trennung von Daten und Anweisungen.
- National Institute of Standards and Technology
Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1)
Governance, Vorabtests, menschliche Aufsicht, laufende Bewertung und Vorfalldokumentation.
- Anthropic
Building Effective AI Agents: Architecture Patterns and Implementation Frameworks
Einfacher Einstieg, beobachtbare Systeme und eine an Geschäftswert und Risiko ausgerichtete Architektur.
Prüfen Sie einen Agenten an einer klar begrenzten Aufgabe.
Bringen Sie Soll-Ergebnis, benötigte Daten und erlaubte Werkzeuge mit. Wir zeigen den Ablauf und die sichtbaren Kontrollpunkte in der Plattform.