Vertrauen und menschliche Aufsicht | STOP.LI

STOP.LI · AI Security · Governance

VertrauenAufsicht, die wirkt.

Menschliche Aufsicht ist nur dann eine Kontrolle, wenn die Person versteht, widersprechen darf und es nachweislich tut. Diese Checkliste ordnet Schäden nach NIST, zeigt Formen und Schwellen der Aufsicht, Erklärbarkeit, Bias-Prüfung, Transparenzpflichten, Betroffenenrechte bei automatisierten Entscheiden und den Herkunftsnachweis für synthetische Inhalte.

Rechtsstand: 12. Oktober 2026. AI Act in der Fassung der Verordnung (EU) 2026/1744. EU-Recht, für Schweizer Unternehmen nur bei EU-Bezug nach Art. 2 AI Act anwendbar; das DSG gilt direkt.

ISMS-Prozess: 03 Compliance · 06 Daten · 24 Wirksamkeit
Schäden

Drei Perspektiven
auf Schaden.

Das NIST AI RMF 1.0 (AI 100-1, Januar 2023) unterscheidet Schäden für Personen, für Organisationen und für Ökosysteme. Für Personen nennt es Einzelne, Gruppen und die Gesellschaft. Vertrauen ist in diesem Rahmen keine Stimmung, sondern Ergebnis von sieben Eigenschaften, darunter «Safe», «Explainable and interpretable», «Privacy-enhanced» und «Fair – with Harmful Bias Managed».

Perspektive Frage für die Kontrolle
Personen Wer wird durch Ausgabe oder Entscheid betroffen, und kann diese Person widersprechen?
Organisation Welche Geschäftsentscheide, Haftungs- und Reputationsfolgen hängen an der Ausgabe?
Ökosystem Welche Dritte, Lieferketten oder Märkte sind mitbetroffen, etwa durch gefälschte Inhalte?
Menschliche Aufsicht

Formen, Schwellen,
Nachweis.

Art. 14 AI Act verlangt für Hochrisiko-KI-Systeme, dass natürliche Personen sie während der Nutzung wirksam beaufsichtigen können. Die Massnahmen müssen zu Risiko, Autonomie und Einsatzkontext passen (Abs. 3). Betreiber (Deployer) müssen die Aufsicht Personen übertragen, die Kompetenz, Schulung und Befugnis sowie die nötige Unterstützung haben (Art. 26 Abs. 2). Für andere KI-Systeme ist dieselbe Ausgestaltung ein sinnvoller Massstab.

Form Wann geeignet Schwelle
Freigabe vor Wirkung Entscheide mit Rechtsfolge oder erheblicher Wirkung auf Personen, Zahlungen, irreversible Aktionen Jede Ausgabe wird von einer Person freigegeben, bevor sie wirkt
Stichprobe mit Eingriffsrecht Hohe Menge, begrenzter Einzelschaden Festgelegte Stichprobe, Eskalation bei Abweichung oder tiefer Konfidenz
Überwachung mit Stopp Autonome Abläufe und Agenten Alarm bei Anomalie, Unterbrechung jederzeit möglich, siehe Agenten und MCP

Art. 14 Abs. 4 beschreibt, was Aufsichtspersonen können müssen:

  • Verstehen und überwachen: Fähigkeiten und Grenzen des Systems kennen, Anomalien und Fehlfunktionen erkennen (Bst. a).
  • Automation Bias erkennen: die Neigung, der Ausgabe ungeprüft zu folgen, bewusst gegensteuern (Bst. b).
  • Ausgabe deuten: mit den verfügbaren Auslegungsmitteln richtig interpretieren (Bst. c).
  • Nicht nutzen oder übersteuern: im Einzelfall auf den Einsatz verzichten oder die Ausgabe ausser Kraft setzen (Bst. d).
  • Eingreifen und stoppen: das System über eine «Stopptaste» in einen sicheren Zustand bringen (Bst. e).

Formale Aufsicht erkennt man an Zeichen wie diesen: Freigabe in Sekunden, keine einzige Ablehnung über Monate, Aufsichtsperson ohne Zugriff auf die Eingabedaten, Genehmigung unter Zeitdruck. Als Nachweis der Wirksamkeit taugen Kennzahlen wie Übersteuerungsquote, Zeit pro Freigabe, Anteil begründeter Ablehnungen und Ergebnis von Stichproben mit bewusst eingebauten Fehlern. Übersteuerungen werden protokolliert und ausgewertet; Prüfmethoden stehen auf Testing und Red Teaming.

Bei biometrischer Fernidentifizierung nach Anhang III Nr. 1 Bst. a darf der Betreiber erst handeln, wenn zwei natürliche Personen das Ergebnis getrennt bestätigt haben (Art. 14 Abs. 5 UAbs. 1). Diese Personen müssen die nötige Kompetenz, Ausbildung und Befugnis haben (UAbs. 2). Für Strafverfolgung, Migration, Grenzkontrolle und Asyl entfällt das Vier-Augen-Prinzip, wenn seine Anwendung nach Unionsrecht oder nationalem Recht unverhältnismässig wäre.

Erklärbarkeit

Erklären können,
was entschied.

Wer Aufsicht ausübt, braucht eine Erklärung, die er prüfen kann. Wer betroffen ist, hat in bestimmten Fällen Anspruch darauf: Nach Art. 86 AI Act kann eine betroffene Person vom Betreiber eine klare und aussagekräftige Erklärung der Rolle des KI-Systems im Entscheid und der wichtigsten Elemente des Entscheids verlangen. Das gilt bei Entscheiden auf Basis eines Hochrisiko-Systems nach Anhang III (ausser Nr. 2) mit Rechtswirkung oder vergleichbar erheblicher Beeinträchtigung, die die Person nach ihrer Ansicht in Gesundheit, Sicherheit oder Grundrechten beeinträchtigt, soweit das Unionsrecht das Recht nicht schon anderweitig vorsieht.

  • Zweck, Datenquellen, bekannte Grenzen und Leistungswerte je KI-System dokumentieren (Modellkarte, Betriebsanleitung des Anbieters).
  • Bei Ausgaben mit Entscheidwirkung Quellenbindung oder Unsicherheitshinweis anzeigen.
  • Entscheide, Protokolle und Begründungen so ablegen, dass ein Einzelfall rekonstruierbar ist.
  • Meldekanal für Fehler einrichten und auswerten; siehe Kontrollkatalog.
Bias

Verzerrung
prüfen.

Anbieter von Hochrisiko-KI-Systemen müssen Trainings-, Validierungs- und Testdaten auf mögliche Verzerrungen prüfen, die Gesundheit, Sicherheit oder Grundrechte beeinträchtigen oder zu verbotener Diskriminierung führen, und geeignete Massnahmen zur Erkennung, Verhinderung und Minderung treffen (Art. 10 Abs. 2 Bst. f und g). Die Verordnung (EU) 2026/1744 verschiebt die Regelung zur Bias-Korrektur mit besonderen Kategorien von Personendaten in den neuen Art. 4a. Betreiber kaufen meist ein Modell und können nur die Wirkung im eigenen Einsatz prüfen.

Prüfschritt Inhalt
Gruppen festlegen Welche Merkmale sind im Einsatz relevant (Alter, Geschlecht, Sprache, Herkunft)? Rechtliche Grenzen bei der Bearbeitung solcher Daten vorher klären.
Fehlerraten vergleichen Ablehnungs-, Fehl- und Trefferquoten je Gruppe auf realen oder repräsentativen Testdaten messen
Rückkopplung beachten Prüfen, ob Ausgaben künftige Eingaben beeinflussen und Verzerrungen verstärken
Wiederholen Bei Modellwechsel, Datenänderung und periodisch; Befund in die Risikobeurteilung zurückführen
Transparenz

Offenlegen,
was KI tut.

Art. 50 AI Act gilt seit 2. August 2026. Für Systeme, die vor diesem Datum in Verkehr kamen, gilt die Kennzeichnungspflicht nach Abs. 2 erst ab 2. Dezember 2026 (Art. 111 Abs. 4 i. d. F. der Verordnung 2026/1744). Daten und Fristen führt der Fristenkalender DCH.

Pflicht Adressat Inhalt Grundlage
Interaktion mit KI Anbieter Personen erfahren, dass sie mit KI interagieren, ausser es ist offensichtlich Art. 50 Abs. 1
Maschinenlesbare Kennzeichnung Anbieter Synthetische Audio-, Bild-, Video- und Textausgaben maschinenlesbar markieren und als künstlich erzeugt erkennbar machen; Ausnahme bei reiner Bearbeitungshilfe Art. 50 Abs. 2
Deepfakes Betreiber Künstlich erzeugte oder manipulierte Bild-, Audio- und Videoinhalte offenlegen; bei erkennbar künstlerischen oder satirischen Werken eingeschränkt Art. 50 Abs. 4 UAbs. 1
Texte von öffentlichem Interesse Betreiber KI-Texte zur Information der Öffentlichkeit offenlegen, ausser menschlich geprüft und unter redaktioneller Verantwortung Art. 50 Abs. 4 UAbs. 2
Zeitpunkt alle Information klar erkennbar, spätestens bei der ersten Interaktion oder Wahrnehmung Art. 50 Abs. 5

In der Schweiz besteht kein KI-Gesetz. Der EDÖB hält das geltende DSG für direkt auf KI anwendbar und erwartet Transparenz: Nutzende haben das Recht zu erfahren, ob und inwieweit sie mit einer Maschine kommunizieren, und Programme, die Gesichter, Bilder oder Sprachnachrichten identifizierbarer Personen verfälschen können, müssen stets deutlich erkennbar sein (EDÖB, «KI und Datenschutz», 24.09.2025). Für Betreiber mit EU-Bezug lohnt eine einheitliche Regel nach dem strengeren Massstab; Textbausteine stehen in der Nutzungsrichtlinie-Vorlage.

Betroffenenrechte

Automatisierte
Einzelentscheide.

Regelung Kern Ausnahmen
Art. 21 DSG (CH) Verantwortlicher informiert über Entscheide, die ausschliesslich auf automatisierter Bearbeitung beruhen und eine Rechtsfolge haben oder erheblich beeinträchtigen; auf Antrag Möglichkeit zur Stellungnahme; die Person kann Überprüfung durch eine natürliche Person verlangen Entscheid im Zusammenhang mit einem Vertrag und dem Begehren wird stattgegeben; ausdrückliche Einwilligung (Abs. 3)
Art. 22 DSGVO (EU) Recht, keinem ausschliesslich automatisierten Entscheid mit Rechtswirkung oder ähnlich erheblicher Beeinträchtigung unterworfen zu sein Abschluss oder Erfüllung eines Vertrags (Bst. a), Rechtsvorschrift mit eigenen Schutzmassnahmen (Bst. b), ausdrückliche Einwilligung (Bst. c). Bei Bst. a und c gilt mindestens das Recht auf Eingreifen einer Person, Darlegung des Standpunkts und Anfechtung (Abs. 3); bei Bst. b muss das Recht selbst Schutzmassnahmen vorsehen
Art. 86 und Art. 26 Abs. 11 AI Act (EU) Erklärung der Rolle des KI-Systems auf Verlangen; Betreiber informieren Personen, über die mit Hochrisiko-Systemen nach Anhang III entschieden wird Ausnahmen nach Unionsrecht oder nationalem Recht (Art. 86 Abs. 2)

Die Regeln unterscheiden sich im Ansatz: Das DSG verlangt Information und Überprüfung auf Antrag, die DSGVO knüpft an ein Recht an, nicht unterworfen zu werden. Eine Freigabe durch eine Person zählt nur, wenn sie den Entscheid inhaltlich beeinflusst; ein blosses Abnicken macht ihn nicht zum menschlichen Entscheid. Prozess für Anträge, Fristen und Zuständigkeiten gehören in die Datenschutzorganisation; Werkzeugklasse: Datenschutzmanagement. Die Folgenabschätzung steht auf Folgenabschätzungen.

Gremium und Kodex

Haltung
verbindlich machen.

Ein Ethik- oder KI-Gremium ist im Gesetz nicht vorgeschrieben. Es lohnt sich, wo Einsätze Personen betreffen und die Linie nicht allein aus Recht folgt. Verbindlich wird es durch klare Zuständigkeit, nicht durch Leitbilder.

  • Zusammensetzung: AI-Owner, Datenschutz, Informationssicherheit, Recht, Fachbereich, bei Personaleinsatz die Personalvertretung.
  • Aufgabe: Einsätze mit Personenwirkung beurteilen, Ausnahmen entscheiden, Vorfälle auswerten.
  • Verhaltenskodex: kurze, prüfbare Grundsätze, in die Nutzungsrichtlinie übernommen, mit Sanktionsweg.
  • Einbindung: Entscheide des Gremiums im Programm festhalten, siehe Governance und Programm.
Herkunftsnachweis

Herkunft
belegen (C2PA).

C2PA ist ein offener technischer Standard, um Ursprung und Bearbeitungen digitaler Inhalte nachzuweisen; im Alltag heisst das Ergebnis «Content Credentials». Die Spezifikation 2.4 (April 2026) beschreibt ein Manifest aus Aussagen (Assertions) und einem Claim, den ein X.509-Zertifikat signiert. Eine Hash-Bindung verknüpft das Manifest mit dem Inhalt; eine Soft Binding aus Inhaltsmerkmalen hilft, Kopien wiederzufinden.

Frage Einordnung
Erfüllt C2PA Art. 50 Abs. 2? Art. 50 Abs. 2 verlangt wirksame, interoperable, robuste und zuverlässige Kennzeichnung, soweit technisch machbar, und schreibt keinen Standard vor. C2PA ist ein Baustein, kein Konformitätsnachweis.
Was fehlt trotz Manifest? Metadaten können beim Weitergeben entfernt werden; fehlt das Manifest, sagt das nichts über die Echtheit. Ergänzend Wasserzeichen im Inhalt und Prüfung beim Empfang.
Was tun als Betreiber? Eigene Ausgaben kennzeichnen, Herkunft eingehender Bilder und Videos bei sensiblen Prozessen prüfen, Aufsichtspersonen im Umgang mit Deepfakes schulen.
Checkliste

Zehn Fragen
vor dem Einsatz.

  • Sind Betroffene, Organisation und Ökosystem als Schadensperspektiven bewertet?
  • Ist die Form der Aufsicht je Einsatz festgelegt, mit Schwelle und Eskalation?
  • Haben Aufsichtspersonen Kompetenz, Schulung, Befugnis, Zugriff auf Daten und Zeit?
  • Können sie das System übersteuern und stoppen, und wird das protokolliert?
  • Ist die Wirksamkeit mit Kennzahlen und Stichproben belegt?
  • Lässt sich jeder Entscheid mit Personenwirkung erklären und rekonstruieren?
  • Sind Fehlerraten je relevanter Gruppe geprüft und dokumentiert?
  • Sind Kennzeichnung und Information nach Art. 50 sowie Erwartungen des EDÖB umgesetzt?
  • Gibt es einen Prozess für Anträge nach Art. 21 DSG und Art. 22 DSGVO?
  • Sind Gremium, Kodex und Herkunftsnachweis zugeordnet und verantwortet?

Die Kontrollen stehen im Kontrollkatalog (Gruppe Aufsicht). Einordnung der Rechtsgrundlagen auf Regulierung DCH.