Das folgende Beispiel ist ein Laborszenario, kein Kundenfall. Ein SOC-Agent soll Alarme zusammenfassen, Schweregrade begründen und kritische Fälle an einen Menschen eskalieren.
Im Test enthält ein Threat-Intelligence-Dokument präparierten Text. Er soll den Agenten dazu bringen, einen klaren Alarm als bekannte Übung einzustufen. Kein Server wird übernommen. Der Auftrag des Systems kann trotzdem verletzt werden.
Das operative Ziel vor dem Angriff
Vor dem Test wird festgelegt, was der SOC-Agent auch unter feindlichem Einfluss nicht tun darf. Ein Alarm mit definierter Evidenz darf nicht ohne nachvollziehbaren Grund heruntergestuft oder ohne menschliche Prüfung geschlossen werden. Externer Text bleibt Evidenz und erhält keine Policy-Autorität.
Damit wird aus einem spektakulären Prompt ein prüfbares Szenario. Der relevante Befund ist nicht eine merkwürdige Antwort. Der Befund ist der Pfad vom präparierten Dokument zur verletzten Eskalationsregel.
Kontrolllauf und Angriffslauf
Der Kontrolllauf nutzt denselben Alarm ohne präparierten Zusatz. Danach folgen mehrere Angriffsläufe mit derselben Modellversion, demselben Harness und dokumentierter Konfiguration. Festgehalten werden Kontextquellen, Tool-Aufrufe, Schweregrad, Begründung und die tatsächliche Eskalationsentscheidung.
Das stochastische Verhalten verlangt Wiederholungen. Ein einzelner Screenshot reicht nicht. Der Test muss zeigen, ob die Verhaltensverschiebung reproduzierbar ist und welche Bedingungen sie auslösen.
Der Bericht verbindet Angriff und Auftrag
Ein brauchbarer Bericht nennt den angenommenen Angreifer, seinen kontrollierten Eingangskanal und das beeinflusste Modellverhalten. Danach beschreibt er die verletzte Betriebsregel und den beobachteten Seiteneffekt.
Der Preprint Rethinking Penetration Testing for AI-Enabled Systems liefert dafür einen konzeptionellen Rahmen. Er ist keine Feldstudie und beweist keine Häufigkeit. NIST SP 800-115, MITRE ATLAS und OWASP ergänzen die klassische Testdisziplin und die Bedrohungssicht.
Kurz gesagt
Ein AI-Pentest prüft weiter Infrastruktur, Identitäten und Lieferketten. Im Laborszenario kommt eine zweite Frage hinzu. Kann ein realistischer adversarialer Einfluss erreichen, dass das System seinen operativen Sicherheitsauftrag verletzt?
Quellen
Rethinking Penetration Testing for AI-Enabled Systems
Gregor Lyttek ist Security Architect & AI Strategist und Threat Hunter im Versicherungsumfeld.