KI-BedrohungenAngriffsflächen, Kataloge, Mapping.
KI-Systeme erweitern die Angriffsfläche um Daten, Modelle, Eingaben und Agenten. Die Seite ordnet die Bedrohungen nach OWASP, NIST und MITRE ATLAS. Eine Mapping-Tabelle verbindet die Kataloge mit Gegenmassnahmen.
Stand: 10. Oktober 2026. OWASP Top 10 for LLM Applications 2026 (3. August 2026), OWASP Top 10 for Agentic Applications 2026 (Dezember 2025), MITRE ATLAS Inhaltsversion 2026.09, NIST AI 100-2 E2025.
Drei Flächen,
ein Bedrohungsbild.
Diese Seite bündelt Taxonomie und Katalog-Mapping; Kontrollen stehen auf den Fachseiten. Die OWASP AI Exchange gliedert KI-spezifische Bedrohungen nach Zeitpunkt und Weg des Angriffs. Daraus ergeben sich drei Angriffsflächen.
Datenaufbereitung, Training, Feinabstimmung und Bezug von Modellen. Typische Bedrohungen: Data Poisoning, manipulierte Modelle, kompromittierte Pakete und Datensätze aus der Lieferkette (AI Exchange, Abschnitt 3).
Angriffe über Eingaben an das Modell und das Auswerten der Ausgaben: Evasion, Prompt Injection, Extraktion von Trainingsdaten oder Modellen, Kostentreiber (AI Exchange, Abschnitt 2).
Angriffe auf das System im Betrieb, die nicht über die Inferenz laufen, etwa Diebstahl von Eingaben oder Gewichten (AI Exchange, Abschnitt 4). Agenten erweitern diese Fläche um Werkzeuge, Speicher, Identitäten und Kommunikation zwischen Agenten.
Konventionelle Bedrohungen gegen Server, Netz und Konten bleiben bestehen. Sie werden über die bestehenden ISMS-Prozesse behandelt und hier nicht wiederholt.
Angriffe nach Ziel
und Modelltyp.
NIST AI 100-2 E2025 (März 2025) ordnet Angriffe auf maschinelles Lernen nach dem Ziel des Angreifers und trennt prädiktive KI (Klassifikation, Prognose, Erkennung) von generativer KI. Jede Klasse trägt eine Kennung (NISTAML), die im Mapping unten verwendet wird.
| Ziel des Angreifers | Prädiktive KI (Beispiele) | Generative KI (Beispiele) |
|---|---|---|
| Verfügbarkeit (NISTAML.01) | Data und Model Poisoning, Energy-latency (.014) | Data Poisoning, direkte und indirekte Prompt Injection (.018, .015) |
| Integrität (NISTAML.02) | Evasion (.022, .025), Backdoor (.023), Targeted Poisoning (.024) | Prompt Injection, Backdoor, Misaligned Outputs (.027) |
| Privatsphäre (NISTAML.03) | Model Extraction (.031), Reconstruction (.032), Membership Inference (.033), Property Inference (.034) | Prompt Extraction (.035), Abfluss aus Nutzerinteraktionen (.036), Data Extraction (.038), Kompromittierung verbundener Ressourcen (.039) |
| Missbrauch (NISTAML.04) | – | Umgehen von Schutzvorkehrungen, um verbotene Ausgaben zu erhalten (Prompt Injection, Jailbreak) |
| Lieferkette (NISTAML.05) | Model Poisoning (.051) | Model Poisoning (.051) |
Evasion, Poisoning und Privacy-Angriffe sind die Grundklassen der prädiktiven KI; bei generativer KI kommt Missbrauch hinzu. So bleiben auch prädiktive Modelle in Betrugserkennung oder Bonitätsprüfung im Blick.
Zehn Risiken
für LLM-Anwendungen.
Die Liste 2026 (OWASP GenAI Security Project, 3. August 2026) gewichtet erstmals eine Praktikerbefragung (drei Viertel) und eine Auswertung realer Vorfälle (ein Viertel). Sie gilt für das Modell als Komponente einer Anwendung. Handelt das Modell selbst mit Werkzeugen und Speicher, verweist OWASP auf die Agentic Top 10.
| Rang 2026 | Kategorie | Rang 2025 | Kern |
|---|---|---|---|
| LLM01 | Prompt Injection | LLM01 | Eingaben überschreiben Anweisungen, neu auch über Bild und Audio. |
| LLM02 | Sensitive Information Disclosure | LLM02 | Ausgaben legen vertrauliche Daten offen. |
| LLM03 | Excessive Agency | LLM06 | Zu viele Rechte oder Funktionen ermöglichen schädliche Aktionen. |
| LLM04 | Supply Chain | LLM03 | Manipulierte Modelle, Pakete, Adapter. |
| LLM05 | Data and Model Poisoning | LLM04 | Vergiftete Trainings- oder Feinabstimmungsdaten. |
| LLM06 | Unbounded Consumption | LLM10 | Ressourcen- und Kostenerschöpfung, Modelldiebstahl über Abfragen. |
| LLM07 | Misinformation | LLM09 | Falsche, aber überzeugende Ausgaben steuern Entscheidungen. |
| LLM08 | Hidden Context Exposure | LLM07 (System Prompt Leakage) | Verborgene Anweisungen, Werkzeuglisten und Regeln werden sichtbar. |
| LLM09 | Vector and Embedding Weaknesses | LLM08 | Schwächen in RAG-Index und Vektordatenbank. |
| LLM10 | Improper Output Handling | LLM05 | Ungeprüfte Ausgaben erreichen Shell, Browser oder Datenbank. |
Vorgänger: OWASP Top 10 for LLM Applications 2025 (Release 18.11.2024). Wer intern noch nach der Liste 2025 berichtet, sollte die Nummern umschlüsseln; gleiche Nummern bedeuten nicht mehr dasselbe Risiko.
Wenn das Modell
selbst handelt.
Die Agentic Top 10 (Dezember 2025) beschreiben Risiken autonomer Agenten. Die Kennungen ASI01 bis ASI10 sind Bezeichner, keine Rangfolge nach Häufigkeit. Kontrollen dazu stehen auf der Seite Agenten und MCP.
| Kennung | Titel | Bedeutung |
|---|---|---|
| ASI01 | Agent Goal Hijack | Ziele oder Entscheidungswege des Agenten werden umgelenkt. |
| ASI02 | Tool Misuse and Exploitation | Legitime Werkzeuge werden schädlich eingesetzt. |
| ASI03 | Identity and Privilege Abuse | Geerbte oder geteilte Rechte werden missbraucht. |
| ASI04 | Agentic Supply Chain Vulnerabilities | Kompromittierte Werkzeuge, Server, Vorlagen oder Agenten Dritter. |
| ASI05 | Unexpected Code Execution (RCE) | Erzeugter oder eingeschleuster Code wird ausgeführt. |
| ASI06 | Memory & Context Poisoning | Dauerhafte Vergiftung von Speicher und Kontext. |
| ASI07 | Insecure Inter-Agent Communication | Nachrichten zwischen Agenten ohne Authentisierung und Integritätsschutz. |
| ASI08 | Cascading Failures | Ein Fehler pflanzt sich über Agenten und Systeme fort. |
| ASI09 | Human-Agent Trust Exploitation | Menschen vertrauen Agenten zu stark und geben Schädliches frei. |
| ASI10 | Rogue Agents | Agenten weichen ohne aktiven Angreifer vom vorgesehenen Verhalten ab. |
Das Angreifermodell
für KI-Systeme.
MITRE ATLAS beschreibt Angriffe auf KI-Systeme im Aufbau von ATT&CK: Taktiken als Ziel eines Schritts, Techniken als Weg, Fallstudien als belegte Angriffe. Die Inhaltsversion 2026.09 umfasst 16 Taktiken, 120 Techniken, 88 Subtechniken, 40 Mitigations und 73 Fallstudien.
Neben bekannten Taktiken wie Reconnaissance, Initial Access, Execution, Persistence, Exfiltration und Impact führt ATLAS zwei KI-eigene: AI Model Access (AML.TA0000) und AI Attack Adaptation (AML.TA0001).
Beispiele: LLM Prompt Injection (AML.T0051), LLM Jailbreak (AML.T0054), Training Data Poisoning (AML.T0020), AI Agent Context Poisoning (AML.T0080), AI Agent Tool Poisoning (AML.T0110), Cost Harvesting (AML.T0034).
Beispiele: Wurm über RAG-Systeme (AML.CS0024), Vergiftung von Trainingsdaten im Web-Massstab (AML.CS0025), verzögerte Werkzeugaufrufe durch eingeschleuste Anweisungen (AML.CS0038), Datenabfluss über ein vergiftetes MCP-Werkzeug (AML.CS0054).
Einsatz: Bedrohungsmodelle, Szenarien für AI Red Teaming und Detection-Use-Cases. ATLAS-Kennungen machen Befunde aus Tests und Vorfällen vergleichbar.
Schaden entsteht
auch ohne Angreifer.
NIST AI 600-1 (Generative AI Profile, Juli 2024) nennt zwölf Risiken, die durch generative KI entstehen oder sich verstärken. Mehrere betreffen nicht die Informationssicherheit im engeren Sinn, gehören aber ins selbe Risikoregister.
| NIST AI 600-1 | Kurz | Typischer Unternehmensbezug |
|---|---|---|
| CBRN Information or Capabilities | Erleichterter Zugang zu CBRN-Waffenwissen | Missbrauchsschutz bei öffentlich zugänglichen Anwendungen |
| Confabulation | Überzeugend formulierte, falsche Inhalte | Fehlentscheide, falsche Auskünfte an Kunden |
| Dangerous, Violent, or Hateful Content | Gewalt, Hetze, Anleitungen zu Schaden | Inhaltsfilter, Haftung |
| Data Privacy | Abfluss und unrechtmässige Nutzung von Personendaten | Datenschutz, Betroffenenrechte |
| Environmental Impacts | Hoher Ressourcenverbrauch | Nachhaltigkeitsberichterstattung |
| Harmful Bias or Homogenization | Verzerrung und Vereinheitlichung | Diskriminierung, Qualität von Entscheiden |
| Human-AI Configuration | Fehlkalibriertes Vertrauen, Automatisierungsbias | Wirksame menschliche Aufsicht |
| Information Integrity | Erleichterte Desinformation | Reputation, Deepfakes |
| Information Security | Tiefere Hürden für Angriffe, neue Angriffsflächen | Diese Seite |
| Intellectual Property | Erzeugen oder Wiedergeben geschützter Inhalte | Urheberrecht, Lizenzen |
| Obscene, Degrading, and/or Abusive Content | Herabwürdigende oder missbräuchliche Inhalte | Inhaltsfilter, Meldewege |
| Value Chain and Component Integration | Intransparente Integration von Komponenten Dritter | Lieferanten und Modelle |
ENISA beschreibt KI-Systeme im Multilayer Framework (Juni 2023) als soziotechnische Systeme, deren Bedrohungen technisch, gesellschaftlich, ethisch und rechtlich sind. ENISA empfiehlt dynamische Risikobeurteilungen, die technische Bedrohungen wie Poisoning und soziale wie Bias gemeinsam erfassen, sowie laufendes Risikomanagement über den Lebenszyklus.
Eine Bedrohung,
vier Kataloge.
Die Tabelle verbindet die Kataloge. Sie dient als Ausgangspunkt für Bedrohungsmodelle und für die Mapping-Spalten des Kontrollkatalogs. OWASP-Nummern beziehen sich auf die Listen 2026, ATLAS-Kennungen auf die Inhaltsversion 2026.09.
| Bedrohung | OWASP | MITRE ATLAS | NIST | Gegenmassnahme (kurz) | Kontrollseite |
|---|---|---|---|---|---|
| Direkte Prompt Injection, Jailbreak | LLM01, ASI01 | AML.T0051.000, AML.T0054 | NISTAML.018, .04 | Eingaben als nicht vertrauenswürdig behandeln, Rechte begrenzen, Ausgaben prüfen | Architektur-Referenz, Testing |
| Indirekte Prompt Injection über Dokumente, Web, E-Mail | LLM01, ASI01 | AML.T0051.001 | NISTAML.015 | Inhalte und Anweisungen trennen, Quellen begrenzen, Freigabe vor Aktionen | Architektur-Referenz, Agenten und MCP |
| Abfluss vertraulicher Daten | LLM02 | AML.T0057, AML.T0086 | NISTAML.036, .038 | Datenminimierung, Berechtigungsprüfung beim Abruf, Ausgabefilter | Datenkontrollen |
| Offenlegung verborgener Anweisungen | LLM08 | AML.T0056, AML.T0069.002 | NISTAML.035 | Keine Secrets in Prompts, Berechtigungen ausserhalb des Modells durchsetzen | Architektur-Referenz |
| Übermässige Rechte, Werkzeugmissbrauch | LLM03, ASI02, ASI03 | AML.T0053, AML.T0101 | NISTAML.039 | Minimale Rechte je Werkzeug, eigene Identität je Agent, Freigabeschwellen | Agenten und MCP |
| Kompromittierte Modelle, Pakete, Werkzeuge | LLM04, ASI04 | AML.T0010, AML.T0110 | NISTAML.05 | Herkunft prüfen, Signaturen, Modell-Scanning, AI-BOM | Lieferanten und Modelle |
| Data und Model Poisoning | LLM05 | AML.T0020, AML.T0018.000 | NISTAML.013, .023, .024 | Datenherkunft, Integritätsschutz, Tests auf Hintertüren | Datenkontrollen, Lebenszyklus-Kontrollen |
| Vergiftung von RAG-Index und Agentenspeicher | LLM09, ASI06 | AML.T0070, AML.T0080 | NISTAML.015 | Schreibrechte auf Index und Speicher begrenzen, Mandanten trennen, Einträge befristen | Datenkontrollen, Agenten und MCP |
| Ungeprüfte Ausgaben, Codeausführung | LLM10, ASI05 | AML.T0050, AML.T0077 | kein eigener Eintrag | Ausgaben wie Fremdeingaben kodieren und prüfen, Sandbox | Architektur-Referenz |
| Ressourcen- und Kostenerschöpfung | LLM06 | AML.T0029, AML.T0034 | NISTAML.01 | Kontingente, Limits je Nutzer und Agent, Kostenalarme | Monitoring und Incident Response |
| Modellextraktion, Membership Inference | LLM06 (Modellextraktion), LLM02 (Membership Inference) | AML.T0024.000, AML.T0024.002 | NISTAML.031, .033 | Abfragelimits, reduzierte Ausgaben, Anomalieerkennung | Monitoring und Incident Response |
| Evasion prädiktiver Modelle | – (AI Exchange: Evasion) | AML.T0015, AML.T0043 | NISTAML.022, .025 | Robustheitstests, Überwachung der Fehlerraten | Testing und Red Teaming |
| Fehlinformation, halluzinierte Pakete | LLM07, ASI09 | AML.T0060, AML.T0062 | AI 600-1: Confabulation | Quellenbindung, menschliche Prüfung bei Entscheiden, Paket-Allowlist | Vertrauen und Aufsicht |
| Kaskaden, unsichere Agentenkommunikation | ASI07, ASI08, ASI10 | keine direkte Technik | kein eigener Eintrag | Authentisierte Nachrichten, Abbruchschalter, Grenzwerte je Kette | Agenten und MCP |
| KI-gestützte Angriffe (Phishing, Deepfakes) | – | AML.T0052.000, AML.T0052.001, AML.T0088 | AI 600-1: Information Security, Information Integrity | Rückrufverfahren, Vier-Augen-Prinzip bei Zahlungen, Awareness | KI in der Security |
Alle Kontrollseiten sind über die Übersicht erreichbar; die Kontrollen gesamthaft im Kontrollkatalog. Das Mapping ist eine fachliche Zuordnung von STOP.LI, keine offizielle Abbildung der Herausgeber. OWASP ordnet in Anhang A der Liste 2026 den Risiken ATLAS-Taktiken zu; die Technik-Kennungen oben sind am ATLAS-Datensatz geprüft.
KI auf der Seite
der Angreifer.
Angreifer nutzen KI auch gegen Organisationen ohne eigene KI. Das britische NCSC hielt im Januar 2024 fest, dass KI Umfang und Wirkung von Cyberangriffen in den folgenden zwei Jahren mit an Sicherheit grenzender Wahrscheinlichkeit erhöht. Die Lagebeurteilung vom Mai 2025 erwartet bis 2027 effizientere Angriffsschritte, eine weiter verkürzte Zeit zwischen Offenlegung und Ausnutzung von Schwachstellen und eine Kluft zwischen Organisationen, die mit KI-gestützten Bedrohungen Schritt halten, und solchen, die es nicht tun.
- Phishing und Social Engineering mit generierten Texten (AML.T0052.000).
- Deepfake-Anrufe und -Videos für Zahlungs- und Identitätsbetrug (AML.T0052.001, AML.T0088).
- Teilautomatisierte Aufklärung und Angriffsketten durch Agenten (AML.T0116, AML.T0124).
Folgen für Reaktionszeiten beschreibt der SIGNAL-Beitrag Sechs Stunden: Wann Incident Response zu langsam ist. Abwehrmassnahmen behandelt die geplante Seite «KI in der Security».
Vom Katalog
zum Bedrohungsmodell.
- Anwendungsfall aus dem KI-Inventar wählen und die betroffenen Angriffsflächen bestimmen.
- Je Fläche die passenden Zeilen der Mapping-Tabelle übernehmen; Agentenfunktionen zusätzlich gegen ASI01 bis ASI10 prüfen.
- Soziotechnische Risiken nach NIST AI 600-1 im selben Register erfassen, nicht in einem Nebenprozess.
- ATLAS-Kennungen in Testberichte, Detection-Regeln und Vorfallmeldungen übernehmen.
Titel der OWASP-Listen stehen unter CC BY-SA 4.0, ATLAS-Bezeichnungen unter Apache License 2.0, Inhalte der OWASP AI Exchange unter CC0 1.0. Sie fallen nicht unter die Lizenz dieser Seite.
Das BSI hat den «Test Criteria Catalogue for AI Systems in Finance» in Version 2.0 (18.06.2026) veröffentlicht. Das Kapitel «AI Security & Robustness» enthält Prüfkriterien unter anderem zu Evasion-Angriffen. Er eignet sich als Prüfmassstab für die Bedrohungen dieser Seite bei Modellen in Kredit-, Betrugs- und Geldwäscheprozessen.
Die 4T2 Solutions GmbH, Herausgeberin von STOP.LI, unterstützt bei der Ableitung von Bedrohungsmodellen für konkrete KI-Anwendungsfälle. Ausgangspunkt ist eine konkrete Entscheidung oder ein kontrollierter Pilot.
- OWASP AI Exchange, Threats overview (OWASP, laufend; Lizenz CC0 1.0)
- NIST AI 100-2 E2025, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations (NIST, März 2025)
- OWASP Top 10 for LLM Applications 2026 (OWASP GenAI Security Project, 03.08.2026; Lizenz CC BY-SA 4.0)
- OWASP Top 10 for LLM Applications 2025, Vorgänger (OWASP GenAI Security Project, 18.11.2024; Lizenz CC BY-SA 4.0)
- OWASP Top 10 for Agentic Applications 2026 (OWASP GenAI Security Project, 09.12.2025; Lizenz CC BY-SA 4.0)
- MITRE ATLAS (MITRE, Inhaltsversion 2026.09)
- MITRE ATLAS Data, Release v2026.09 (MITRE, 14.09.2026; Lizenz Apache 2.0)
- NIST AI 600-1, Generative Artificial Intelligence Profile (NIST, Juli 2024)
- Multilayer Framework for Good Cybersecurity Practices for AI (ENISA, 07.06.2023)
- The near-term impact of AI on the cyber threat (NCSC UK, 24.01.2024)
- Impact of AI on cyber threat from now to 2027 (NCSC UK, 07.05.2025)
- Test Criteria Catalogue for AI Systems in Finance, Version 2.0 (BSI, 18.06.2026)
Zitierte Fremdinhalte unterliegen der Lizenz ihrer Herausgeber. Die Seite ist eine Orientierung, keine Rechtsberatung.
© 2026 4T2 Solutions GmbH. Text und eigene Diagramme stehen unter CC BY 4.0.