AI Red Teamingund Evaluation.
AI Red Teaming prüft Modelle und KI-Anwendungen mit gezielten Angriffen und wiederholbaren Tests. Weil Modellverhalten nicht deterministisch ist, braucht es Messreihen statt einzelner Befunde.
Wofür die Klasse gebraucht wird.
Die Werkzeugklasse automatisiert Tests gegen Prompt Injection, Datenabfluss, unsichere Ausgaben und Fehlverhalten von Agenten. Regressionstests zeigen, ob eine neue Modellversion, ein geänderter Systemprompt oder eine neue Guardrail-Regel die Schutzwirkung verändert. Ein grosser Teil des Marktes ist quelloffen und eignet sich für den Einstieg.
- Katalog adversarialer Testfälle gegen Modell, Anwendung und Agent
- Automatisierte Angriffsserien mit Bewertung der Erfolgsrate
- Regressionstests bei Modell-, Prompt- oder Konfigurationswechseln
- Safety-, Bias- und Robustheits-Evaluationen
- Befundverwaltung mit Zuordnung zu OWASP und MITRE ATLAS
Messen statt vermuten.
Der Markt für AI Red Teaming hat sich 2024–2026 stark konsolidiert: Cisco übernahm Robust Intelligence (abgeschlossen 24.09.2024), Palo Alto Networks Protect AI (abgeschlossen 22.07.2025), F5 CalypsoAI (Abschluss 26.09.2025, gemeldet 29.09.2025), Zscaler SPLX (03.11.2025) und Check Point Lakera (angekündigt 16.09.2025, Abschluss im November 2025 gemeldet); OpenAI kündigte am 09.03.2026 die Übernahme von Promptfoo an. Red Teaming wird damit zunehmend als Modul grosser Sicherheitsplattformen angeboten, gekoppelt an Laufzeitschutz (Guardrails), während Spezialisten wie Mindgard, HiddenLayer und Giskard eigenständig bleiben. Daneben bestehen etablierte Open-Source-Werkzeuge (garak, PyRIT, promptfoo, Giskard), die sich für wiederholbare Tests in eigener Verantwortung eignen. Viele Anbieter ordnen Befunde OWASP Top 10 for LLM Applications, MITRE ATLAS oder NIST AI RMF zu; Zahl und Art der Angriffe sind herstellerspezifisch und nicht direkt vergleichbar.
Automatisiert: automatisierte Angriffsserien · Agenten: Tests von Agenten und Tools · Safety: Safety-, Bias- und Qualitätsprüfung · CI/CD: Einbindung in Pipeline und Regression · Open Source: quelloffen verfügbar. ● = auf offizieller Hersteller- oder Projektseite beschrieben, – = nicht belegt (nicht zwingend nicht vorhanden). Auswahl nicht abschliessend, keine Rangliste. Stand: Oktober 2026.
Prisma AIRS AI Red Teaming
Palo Alto Networks
Angriffsbibliothek mit über 500 Angriffsvektoren aus über 50 Techniken sowie ein kontextbezogener Red-Teaming-Agent, der Angriffe aus einem Profil des Ziels ableitet.
Ein Profiler erfasst Werkzeuge und Konfiguration des Ziels; geprüft werden agentische und nicht-agentische Systeme.
Ergebnisse werden in Sicherheits-, Safety- und Compliance-Risiken gegliedert und OWASP Top 10 for LLMs, NIST AI RMF und MITRE ATLAS zugeordnet.
Konfiguration über Oberfläche und API; private Ziele werden über eine gesicherte Verbindung angebunden.
Befunde lassen sich direkt mit Laufzeitschutz, Posture Management und Model Scanning derselben Plattform verbinden.
Native CI/CD-Einbindung auf der Produktseite nicht beschrieben; Nutzen am grössten bei bestehender Prisma-AIRS-Lizenz.
Cisco AI Defense – AI Model and Application Validation
Cisco Systems
Algorithmisches Red Teaming mit über 200 Angriffstechniken und Unterkategorien, u. a. über 45 Prompt-Injection-Techniken und über 50 Safety-Kategorien.
Laut Datenblatt sind agentische Systeme und MCP im Scope; aus Befunden werden modellspezifische Guardrails abgeleitet.
Start per API-Aufruf; laut Datenblatt Einbindung in bestehende CI/CD-Abläufe.
Befunde werden MITRE ATLAS, OWASP Top 10 for LLMs und NIST AI RMF zugeordnet; bei VPC- und AI-POD-Betrieb bleibt sensibler Verkehr in der eigenen Umgebung.
Breite, dokumentierte Testabdeckung mit direkter Ableitung von Laufzeitregeln.
Teil der AI-Defense-Plattform; Funktionsumfang und Betriebsvariante je Edition prüfen.
F5 AI Red Team
F5
Autonome Angreifer-Agenten führen statische, promptbasierte und mehrstufige Angriffe aus, u. a. Prompt Injection und Jailbreaks.
Laut Hersteller fliessen monatlich über 10 000 neue Angriffsmuster aus der eigenen Schwachstellendatenbank ein.
Wiederkehrende Kampagnen und Reporting; Befunde können in F5 AI Guardrails als Laufzeitschutz übernommen werden.
Betrieb neben den KI-Workloads in der Public Cloud oder On-Premises; Bezug zu OWASP, NIST AI RMF und EU AI Act wird beschrieben.
On-Premises-Betrieb und enge Kopplung von Testbefunden an Laufzeit-Guardrails.
Ziel sind laut FAQ eingesetzte Modelle und Anwendungen, nicht Agenten im Besonderen; native CI/CD-Integration nicht beschrieben.
Zscaler AI Red Teaming (ehemals SPLX)
Zscaler
Kontinuierlich laufende, simulierte Angriffe; bei der Übernahme nannte Zscaler über 5000 zweckgebaute und domänenspezifische Angriffssimulationen.
Getestet werden Modelle, Anwendungen, agentische Workflows und MCP-Server.
Befunde werden anerkannten KI-Risikorahmenwerken für Audit und Compliance-Reporting zugeordnet; dazu gehören Remediation und Prompt Hardening.
Wird in die Zero Trust Exchange integriert; eigene Testdatensätze können ergänzt werden.
Red Teaming im Verbund mit Discovery, Laufzeitschutz und Governance derselben Plattform.
Integration in Zscaler noch jung; CI/CD-Einbindung und Betriebsdetails auf der Produktseite nicht beschrieben.
Lakera AI Red Teaming (Lakera Red)
Lakera (Check Point Software Technologies)
Automatisiertes Red Teaming für KI-Anwendungen und Agenten.
Gegliedert in drei Risikokategorien, darunter Erzeugung schädlicher Inhalte und Compliance-Risiken.
Bedrohungswissen stammt u. a. aus der Red-Teaming-Community um das Spiel Gandalf.
Ursprung Zürich; Produktseite läuft heute unter Check Point. Ergänzt Check Point AI Guardrails (vormals Lakera Guard) als Laufzeitschutz.
Ursprung in Zürich und Kopplung mit Check Point AI Guardrails (vormals Lakera Guard) für den Laufzeitschutz.
Produktseite beschreibt weder CI/CD noch Rahmenwerk-Mapping noch Betriebsvarianten; Produktname nach Integration in Check Point offen.
AI Red Teaming Agent (Microsoft Foundry)
Microsoft
Nutzt PyRIT mit über 20 Angriffsstrategien (u. a. Base64, Crescendo, Multi-turn); Kennzahl ist die Attack Success Rate.
Agentenrisiken (verbotene Aktionen, Datenabfluss, Task Adherence) nur im Cloud-Lauf und nur für Foundry-gehostete Agenten; indirekte Prompt Injection wird mit Mock-Tools getestet.
Risikokategorien u. a. hasserfüllte, sexuelle und gewaltbezogene Inhalte, Selbstverletzung, geschütztes Material, Codeschwachstellen.
Cloud-Läufe u. a. in den Regionen Switzerland West, Sweden Central und France Central; schädliche Eingaben werden in den Ergebnissen geschwärzt.
Niedrige Einstiegshürde für Teams, die bereits auf Microsoft Foundry entwickeln; Region Schweiz verfügbar.
Agententests auf Foundry-Agenten beschränkt, nur Textszenarien; Hersteller weist auf mögliche Fehlalarme hin.
Mindgard AI Red Teaming
Mindgard
Einstufige und mehrstufige Angriffe, die sich an das Verhalten des Zielsystems anpassen; Ergänzung durch AI Recon zur Erkundung der Angriffsfläche.
Eigene Agententests prüfen Werkzeugauswahl, Berechtigungen und mehrstufige Pfade über APIs und Daten.
Wiederholte Tests über API und CI/CD, Integrationen u. a. mit GitHub Actions, SIEM und Ticketing.
Befunde lassen sich OWASP Top 10 for LLM Applications, MITRE ATLAS, NIST AI RMF und EU AI Act zuordnen; Sitz in Boston und London, Spin-off der Lancaster University.
Klarer Fokus auf offensive Tests mit Agentenabdeckung und CI/CD-Einbindung.
Betriebsvarianten (SaaS/On-Premises) auf der Produktseite nicht ausgewiesen; Safety-/Bias-Kategorien nicht einzeln benannt.
HiddenLayer AI Attack Simulation
HiddenLayer
Automatisierte Angriffssimulation auf generative und agentische KI-Anwendungen.
Simuliert unautorisierte Aktionen über Werkzeuge und APIs von Agenten.
Prüft Jailbreaks, Injection, Rollenverwechslung und schädliche Antwortmuster.
Modul der HiddenLayer AI Security Platform; Berichte enthalten empfohlene Guardrails und Korrekturen.
Teil einer eigenständigen AI-Security-Plattform mit Modellschutz und Laufzeitkontrollen.
CI/CD-Einbindung, Rahmenwerk-Mapping und Betriebsvarianten auf der Modulseite nicht beschrieben.
Giskard Hub und Giskard Open Source
Giskard AI SAS
Kontinuierliches Red Teaming mit automatisch erzeugten Angriffsszenarien; in der Bibliothek über vulnerability_scan.
Black-Box-Tests konversationeller Agenten, die über einen API-Endpunkt erreichbar sind.
Erkennt Halluzinationen, Stereotype, Diskriminierung und schädliche Inhalte; RAG-Qualität über quality_scan.
Europäischer Anbieter (Frankreich); Hub mit Rollen, Audit-Logs und SSO, Datenverarbeitung wählbar EU oder US.
EU-Anbieter mit Open-Source-Kern und wählbarem Datenstandort.
Native CI/CD-Integration nicht beschrieben (Tests laufen unter pytest); Scan-Ergebnisse sind laut Doku keine Compliance-Garantie.
promptfoo
Promptfoo (OpenAI)
Adversariale Tests über Plugins und Strategien, u. a. Prompt Injection, Jailbreaks und PII-Abfluss bei Agenten und RAG-Systemen.
Prüft unsichere Werkzeugnutzung durch Agenten; dazu MCP-Proxy als eigenes Produkt.
Einbindung in CI/CD (GitHub, GitLab, Jenkins); zusätzlich Evaluationen für Prompts, Modelle und RAG.
Bezug zu OWASP LLM Top 10, NIST AI RMF und EU AI Act; Projekt bleibt laut Hersteller Open Source und MIT-lizenziert.
Weit verbreitetes Open-Source-Werkzeug mit starker CI/CD-Ausrichtung.
Seit der Übernahme durch OpenAI ist die Herstellerneutralität der Enterprise-Weiterentwicklung (Integration in OpenAI Frontier) zu beobachten.
garak
NVIDIA
LLM-Schwachstellenscanner mit Probes für Halluzination, Datenabfluss, Prompt Injection, Fehlinformation, Toxizität und Jailbreaks.
Detektoren bewerten jeden Versuch; Ergebnis als JSONL-Bericht mit separatem Hit-Log.
Generatoren für Hugging Face, OpenAI, AWS Bedrock u. a. sowie ein REST-Generator für beliebige Endpunkte.
Kommandozeilenwerkzeug, aktuelle Version 0.17.0 (09.09.2026); Repository unter NVIDIA.
Breiter, frei verfügbarer Probe-Katalog für Modelle und Chat-Endpunkte.
Agenten-/Werkzeugtests und CI/CD-Einbindung nicht dokumentiert; Betrieb und Auswertung in eigener Verantwortung.
PyRIT (Python Risk Identification Tool)
Microsoft
Ein- und mehrstufige Angriffe, u. a. Crescendo, TAP und Skeleton Key; Scenario Framework für standardisierte Läufe.
Scorer für Ja/Nein-, Likert- und Klassifikationsbewertung, LLM-basiert oder über Azure AI Content Safety.
Ziele u. a. OpenAI, Azure, Anthropic, Google, Hugging Face, HTTP- und WebSocket-Endpunkte sowie Web-Apps über Playwright.
Ergebnisse in SQLite oder Azure SQL; aktuelle Version 1.1.0 (04.09.2026). Grundlage des AI Red Teaming Agent in Microsoft Foundry.
Flexibles Framework für eigene Red-Teaming-Abläufe mit vielen Zielsystemen.
Framework statt fertiges Produkt: erfordert Python-Kenntnisse; Agententests nicht dokumentiert.
Weitere Anbieter
Kurz eingeordnet, ausserhalb der Vergleichsmatrix.
- DeepTeam (Confident AI): Open-Source-Framework für LLM-Red-Teaming von Confident AI
- Repello AI: kommerzielles AI Red Teaming
- Enkrypt AI: Red Teaming und Guardrails
- Adversa AI: Red-Teaming-Plattform und Forschung
- Holistic AI: Governance-Plattform mit Red-Teaming-Tests (Prompt Injection, Jailbreak); in 15.05 geführt, hier Schwerpunkt nicht Red Teaming
- Agentic Radar (SPLX/Zscaler): Open-Source-Scanner für Agenten-Workflows; eher statische Analyse als Angriffssimulation
- Prompt Security / SentinelOne, Noma, Zenity: Schwerpunkt Discovery und Laufzeitschutz, Red Teaming hier nicht als Kernfähigkeit belegt
Gegen die eigene Anwendung testen.
Ein Pilot läuft gegen die eigene Anwendung mit eigenem Systemprompt, eigenen Daten und eigenen Werkzeugen, nicht gegen das nackte Modell. Entscheidend ist, ob Ergebnisse reproduzierbar sind und ob sich die Tests bei jeder Änderung automatisch wiederholen lassen.
- Deckt der Testkatalog die für den eigenen Einsatz relevanten Angriffsarten ab?
- Lassen sich eigene Testfälle und Bewertungsregeln ergänzen?
- Sind Ergebnisse reproduzierbar und statistisch belastbar?
- Können Tests in die Entwicklungs- und Freigabepipeline eingebunden werden?
- Wo werden Testdaten und Antworten verarbeitet (Datenstandort)?
Kontrollen, Prozesse und Regulierung zu dieser Klasse stehen im Themenbereich AI Security: Testing und Red Teaming, Bedrohungslandschaft, Risikobeurteilung.
Angriffstechniken lassen sich mit MITRE ATLAS strukturieren, Testaktivitäten mit der Funktion «Measure» des NIST AI RMF. Für KI-Modelle mit allgemeinem Verwendungszweck und systemischem Risiko nennt die KI-Verordnung der EU in Art. 55 Angriffstests (adversarial testing).
Security Tool Navigator · Gebiet 15
Im KI-Zusammenhang entscheiden.
Diese Werkzeugklasse ist Teil der AI-Security-Werkzeuge. Der Gebietshub ordnet die 5 Klassen ein und zeigt die Abgrenzung zu den benachbarten Werkzeugklassen.