Adversarial AI Testing: Die fehlende Ebene in der KI-Governance

Ihr Unternehmen nutzt mit hoher Wahrscheinlichkeit mehr KI, als Ihrem Cybersecurity-Team bewusst ist. Die entscheidende Frage ist nicht, ob Ihre KI-Governance diese Systeme abdeckt. Sondern, ob sie einem gezielten Angriffsversuch standhalten würden.

In vielen Unternehmen zeigt sich derzeit ein bemerkenswerter Widerspruch. Auf der einen Seite wird die KI-Governance immer ausgereifter: Richtlinien, Regeln zur zulässigen Nutzung, Risikoklassifizierungen, oft in Anlehnung an den EU AI Act. Auf der anderen Seite wächst die tatsächliche Nutzung von KI deutlich schneller, als sie dokumentiert oder kontrolliert werden kann.

Laut der Cloud Security Alliance handelt es sich bei über der Hälfte der generativen KI-Anwendungen in Unternehmen um „Schatten-KI“. Gleichzeitig bleiben 89 % der KI-Nutzung in Unternehmen ist für Cybersecurity-Teams unsichtbar (CSA, 2026). IBM kommt in seinem Cost of a Data Breach Report 2025 zu einem ähnlichen Ergebnis: Jede fünfte Organisation, die von einer Datenpanne betroffen war, verzeichnete einen Vorfall im Zusammenhang mit „Schatten-KI“. (IBM, 2025).

Regulierung verlangt längst mehr als Dokumentation

Der EU AI Act fragt nicht nur danach, ob KI-Systeme dokumentiert wurden. Bei Systemen mit hohem Risiko geht es vor allem darum, ob diese Systeme tatsächlich robust und sicher sind.

Artikel 15 des KI-Gesetzes verlangt, dass KI-Systeme mit hohem Risiko „ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit“ erreichen. Außerdem müssen sie widerstandsfähig gegen Versuche unbefugter Dritter sein, ihr Verhalten über Schwachstellen zu beeinflussen oder zu verändern. Die Anforderung ist damit gesetzlich verankert. Es handelt sich nicht um eine reine Dokumentationspflicht.

Genau diese Lücke beschreibt auch Damovos Adversarial-Team, Lares, seit Jahren in anderen Bereichen der Cybersicherheit: Compliance prüft, ob Kontrollen dokumentiert sind. Angreifer prüfen, ob sie funktionieren. KI ist lediglich das neueste Feld, in dem diese Diskrepanz sichtbar wird. Und sie wächst schnell, weil die Verbreitung von KI jede Governance-Struktur überholt, die eigentlich für ihre Kontrolle vorgesehen war.

Was das „Testen“ von KI tatsächlich bedeutet

KI-Systeme scheitern oft auf eine Weise, die wenig mit klassischen Software-Schwachstellen gemeinsam hat. Deshalb bleiben viele dieser Risiken bei traditionellen Sicherheitstests unentdeckt.

Bei einem Adversarial Test (auf Deutsch: „gegnerischer Test“ oder „feindlicher Test“) einer KI-Umgebung führen wir keinen automatisierten Schwachstellenscan durch. Stattdessen greifen wir das System so an, wie es ein realer Gegner tun würde:

• Manipulation der Anweisungen an die KI. Eine gezielt formulierte Eingabe kann die Anweisungen eines KI-Assistenten überschreiben. Ein hilfreiches internes Tool kann so dazu gebracht werden, stattdessen den Zielen eines Angreifers zu folgen.
• Missbrauch von KI-Berechtigungen. Moderne KI-Agenten können E-Mails versenden, Datenbanken abfragen oder interne APIs nutzen. Gelingt es einem Angreifer, diese Funktionen für eigene Zwecke zu missbrauchen, kann er auf schnellstem Wege echten Schaden anrichten.
• Extraktion von vertraulichen Informationen Modelle, die mit sensiblen Daten trainiert wurden oder mit diesen verbunden sind, können durch geschickt formulierte Anfragen dazu gebracht werden, diese Daten preiszugeben. Oft geschieht dies schrittweise und ohne offensichtliche Warnsignale.

Nichts davon wird bei einer Governance-Prüfung sichtbar. Es wird erst sichtbar, wenn jemand aktiv versucht, das System zu kompromittieren.

Die „OWASP Top 10 für agentenbasierte Anwendungen“, die Ende 2025 veröffentlicht wurden, beschreiben genau diese Risiken für autonome KI-Agenten (OWASP, 2025). Die Frameworks existieren bereits. Was in den meisten Organisationen fehlt, ist der Nachweis, dass die eigenen KI-Systeme tatsächlich diesen Risiken standhalten.

Deep Dive: OWASP Agentic AI Top 10: Bedrohungen in der Praxis

Ein praktischer Weg, um die Lücke zu schließen: Adversarial AI Assessment

Das Offensive Cybersecurity Advisory Team von Damovo, Lares, bietet mit Adversarial AI Assessment einen strukturierten Ansatz, um zu prüfen, wie sich Ihre KI-Systeme unter realistischen Angriffsbedingungen verhalten und nicht nur, wie sie laut Richtlinien funktionieren sollten.

Das Adversarial AI Assessment läuft in drei Stufen ab. Unternehmen können dort einsteigen, wo es ihrem aktuellen Reifegrad entspricht:

1. Ermittlung des "KI-Fußabdrucks": Bevor Sie Ihre KI absichern können, müssen Sie sie vollständig erfassen, einschließlich der „Schatten-KI“, die außerhalb etablierter Governance-Prozesse entstanden ist. Dieser Schritt basiert nicht auf automatisierten Scans, sondern auf gezielter, expertengeführter Analyse. Denn die wirklich kritischen Lücken sind oft genau die, die kein Scanner erkennen kann.
2. Adversarial AI Testing: In dieser Phase werden KI-Systeme mit realen Angriffstechniken getestet: Prompt-Manipulation, Missbrauch von Agenten-Tools, Datenextraktion und die anderen in den OWASP-Frameworks katalogisierten Methoden. Das Ergebnis ist keine Liste theoretischer Risiken. Stattdessen erhalten Unternehmen belastbare Erkenntnisse darüber, was ein Angreifer tatsächlich erreichen kann, welche Schutzmaßnahmen funktionieren und wo reale Schwachstellen bestehen.
3. Testrhythmus für KI: KI-Systeme ändern sich laufend. Neue Modelle, zusätzliche Integrationen und neue Datenquellen sorgen dafür, dass Ergebnisse schnell veralten. Ein einmaliger Test reicht deshalb selten aus. Durch regelmäßige Retests bleibt die Bewertung aktuell und die Sicherheitslage kann kontinuierlich überprüft werden.

Das Grundprinzip ist einfach und entspricht dem Ansatz, den Lares generell verfolgt: Verlassen Sie sich nicht darauf, dass Kontrollen funktionieren. Beweisen Sie es unter realistischen Angriffsbedingungen, gemeinsam mit Ihrem Team, das die von uns gefundenen Schwachstellen schließen kann.

Erfahren Sie mehr: Adversarial-KI-Bewertung

Wo Sie beginnen sollten

Wenn in Ihrer Organisation bereits Richtlinien und Governance-Strukturen für KI existieren, die Systeme aber noch nie unter realistischen Angriffsbedingungen getestet wurden, sollte genau dort der erste Schritt ansetzen. Falls Sie hingegen noch keinen vollständigen Überblick darüber haben, welche KI-Lösungen im Unternehmen tatsächlich genutzt werden, liefert die Ermittlung des „KI-Fußabdrucks“ zunächst die notwendige Transparenz.

Quellen

• Cloud Security Alliance, Shadow AI Apps: The Enterprise Attack Surface That Outpaces Monitoring (2026)
• IBM, Cost of a Data Breach Report 2025 (2025)
• EUR-Lex, Regulation (EU) 2024/1689 (Artificial Intelligence Act) (2024)
• OWASP GenAI Security Project, OWASP Top 10 for Agentic Applications for 2026 (2025)