Security Tool Navigator · Gebiet 15

KI wird
beherrschbar.

Die AI-Security-Werkzeuge bündeln fünf Klassen, mit denen KI-Nutzung gefunden, abgesichert, getestet, überwacht und gesteuert wird. Jede Klassenseite enthält eine Marktübersicht mit Vergleichsmatrix und Produktprofilen, insgesamt 59 Einträge. Die Methodik dazu steht im Themenbereich AI Security.

Schutzpunkte

Sieben Stellen, an denen KI geschützt werden muss.

Angriffe und Fehler treffen ein KI-System an unterschiedlichen Stellen: beim Aufbau über Daten und Modelle, im Betrieb am Eingang, am Ausgang und dort, wo ein Agent handelt. Die Übersicht zeigt, welche Werkzeugklasse an welcher Stelle schützt. Der Markt konsolidiert sich: Grosse Security-Hersteller haben 2024 bis 2026 zahlreiche Spezialisten übernommen, und eine Plattform deckt oft mehrere Klassen ab.

Aufbau · vor dem BetriebDaten und Modelle, die das System prägen
01

Training und Feintuning

Poisoning: manipulierte Trainings- oder Feintuning-Daten bauen Hintertüren oder Verzerrungen ins Modell ein.

SchützenHerkunft und Zugriff der Daten absichern
OWASP LLM04
02

Modell-Lieferkette

Manipulierte Modelldateien aus öffentlichen Quellen; einige Formate führen beim Laden Code aus.

SchützenModelldateien prüfen, Herkunft und Signatur belegen
OWASP LLM03
03

Wissensquellen (RAG)

Manipulierte Dokumente in der Wissensdatenbank. Grenzfall: als Daten abgelegt, wirken sie zur Laufzeit wie eine indirekte Prompt Injection.

SchützenQuellen und Berechtigungen steuern, abgerufene Inhalte prüfen
OWASP LLM08, LLM01
Betrieb · zur Laufzeitvom Prompt bis zur Handlung
04

Nutzung

Mitarbeitende nutzen nicht freigegebene KI-Dienste und geben sensible Daten in Prompts ein.

SchützenNutzung sichtbar machen und steuern
OWASP LLM02 (Dateneingabe)
05

Eingang

Prompt Injection: Anweisungen im Prompt oder in Webseiten, E-Mails und Dokumenten übersteuern die Vorgaben.

SchützenEingaben prüfen, Anweisungen von Daten trennen
OWASP LLM01
06

Ausgang

Die Antwort gibt vertrauliche Daten oder unerwünschte Inhalte preis, oder sie wird ungeprüft weiterverarbeitet.

SchützenAusgaben filtern und maskieren; die Weiterverarbeitung in der Anwendung absichern
OWASP LLM02, LLM05
07

Aktion

Ein Agent ruft Werkzeuge oder MCP-Server mit zu weiten Rechten auf und richtet damit Schaden an.

SchützenWerkzeugaufrufe freigeben, begrenzen und protokollieren
OWASP LLM06
Über alle StellenRed Teaming prüft wiederholbar, ob der Schutz hält: an den Stellen 01 bis 03 über die Folgen im Modellverhalten, an 05 bis 07 direkt.AI Red Teaming
Über alle StellenGovernance führt Register, Einstufung, Freigabe und Nachweis für jede KI-Anwendung.AI-Governance

Vereinfachtes Modell, keine vollständige Taxonomie: Modellextraktion oder Überlastung (Denial of Service) sind nicht abgebildet. Bezeichnungen nach OWASP Top 10 for LLM Applications 2025. Die Angriffe selbst beschreibt die Seite Bedrohungslandschaft.

Werkzeugklassen

Von der Schatten-KI bis zum Nachweis.

15.01

AI Discovery und Nutzungskontrolle

Findet Schatten-KI im Web, in SaaS, Browser-Erweiterungen und API-Aufrufen und steuert die Nutzung mit Richtlinien, Coaching und Prompt-DLP.

11 Werkzeuge vergleichen

15.02

AI-SPM und Modell-Lieferkette

Inventarisiert KI-Ressourcen in Cloud und MLOps, findet Fehlkonfigurationen und prüft Modelldateien auf Schadcode, Herkunft und Signatur.

12 Werkzeuge vergleichen

15.03

AI Runtime Security: Gateway, Firewall und Guardrails

Schutz zur Laufzeit zwischen Anwendung, Modell und Werkzeugen: Prompt-Injection-Abwehr, Maskierung, Agenten- und MCP-Kontrolle, Gateway-Richtlinien und Monitoring.

12 Werkzeuge vergleichen

15.04

AI Red Teaming und Evaluation

Automatisierte adversariale Tests, Agenten-Tests, Safety- und Bias-Evaluation und Regressionstests in der Pipeline, kommerziell und Open Source.

12 Werkzeuge vergleichen

15.05

AI-Governance-Plattformen

Use-Case-Register, Einstufung, Folgenabschätzungen, Freigabe und Nachweise, mit Zuordnung zu AI Act, NIST AI RMF und ISO/IEC 42001.

12 Werkzeuge vergleichen

Methodik und Kontrollen

Werkzeuge ersetzen kein Programm.

Welche Kontrollen eine Organisation für KI braucht, beschreibt der Themenbereich AI Security mit Risikobeurteilung, Regulierung und Programmaufbau. Der Kontrollkatalog bildet die Grundlage, aus der sich die Anforderungen an Werkzeuge ableiten. Die Abgrenzung zu klassischen Werkzeugklassen steht auf den einzelnen Seiten, etwa zu DLP, WAF und SIEM.

Alle 15 Sicherheitsgebiete öffnen