Worum es geht

Das Lernziel verlangt, die Eigenschaften zu erkennen, die KI von herkömmlicher Software unterscheiden und deshalb eine umfassende Governance verlangen. Das BoK nennt sieben: Komplexität, Undurchsichtigkeit, Autonomie, Geschwindigkeit und Ausmaß, Schadens- und Missbrauchspotenzial, Datenabhängigkeit sowie probabilistische statt deterministischer Ausgaben. Die Prüfung fragt, welche Eigenschaft ein Fall zeigt – und welche Maßnahme darauf antwortet.

Erklärung

Warum „umfassend“

Klassische IT-Kontrollen setzen voraus, dass Software tut, was im Code steht, und dass ein Test heute auch morgen gilt. Bei KI trifft beides nur eingeschränkt zu. Das NIST AI RMF beschreibt KI-Systeme als socio-technical (soziotechnisch): Risiken entstehen aus dem Zusammenspiel von Technik, Nutzung, Betreibern und sozialem Kontext (Einleitung). Anhang B listet Risiken, die gegenüber herkömmlicher Software neu oder größer sind. Deshalb reicht keine einzelne Kontrolle; Governance muss Technik, Organisation, Recht und den ganzen Lebenszyklus abdecken. Der AI Act verlangt entsprechend ein Risikomanagement als „continuous iterative process“ über den gesamten Lebenszyklus (Art. 9 Abs. 2).

Die sieben Eigenschaften und die Antwort der Governance

Eigenschaft	Was sie bedeutet	Governance-Antwort	Beleg
Complexity (Komplexität)	Viele Komponenten, Parameter und Wechselwirkungen; Fehlermodi schwer vorherzusagen	Interdisziplinäre Prüfung, TEVV (Test, Evaluierung, Verifizierung, Validierung), Dokumentation	AI RMF Einleitung; Anhang B
Opacity (Undurchsichtigkeit)	Begründung einer Ausgabe ist nicht oder kaum nachvollziehbar	Erklärbarkeitsmethoden, Protokollierung, Gebrauchsanweisung	AI RMF 1.2.1, 3.5; AI Act Art. 12, 13
Autonomy (Autonomie)	System handelt ohne menschliches Eingreifen	Human oversight (menschliche Aufsicht), Eingriffs- und Stoppmöglichkeit	AI Act Art. 14; ErwG 12
Speed and scale (Geschwindigkeit und Ausmaß)	Ein Fehler wiederholt sich in kurzer Zeit tausendfach	Laufende Überwachung, Schwellen für automatisches Anhalten, gestufte Einführung, Vorfallmanagement	AI Act Art. 72; AI RMF 3.2
Potential for harm or misuse (Schadens- und Missbrauchspotenzial)	Einsatz außerhalb des Zwecks oder böswillige Nutzung	Analyse vorhersehbarer Fehlanwendung, Nutzungsrichtlinien, red teaming	AI Act Art. 9 Abs. 2 lit. b; OECD 1.2 b
Data dependency (Datenabhängigkeit)	Qualität und Aktualität der Daten bestimmen das Verhalten	Data governance (Daten-Governance), Bias-Prüfung, Überwachung auf drift	AI Act Art. 10; AI RMF Anhang B
Probabilistic outputs (probabilistische Ausgaben)	Ausgabe ist eine Wahrscheinlichkeit oder Schätzung, keine sichere Aussage	Angegebene Genauigkeitsmetriken, Schwellenwerte, menschliche Prüfung von Grenzfällen	AI Act Art. 15 Abs. 3; AI RMF 3.1

Feinheiten zu einzelnen Eigenschaften

Opazität hat laut NIST mehrere Ursachen: die undurchsichtige Natur des Modells selbst, fehlende Transparenz oder Dokumentation in Entwicklung und Einsatz sowie inhärente Unsicherheit (Abschnitt 1.2.1, „Inscrutability“). Governance kann nicht jede Black Box öffnen, aber Dokumentation und Protokolle (Art. 12: automatische Aufzeichnung von Ereignissen über die Lebensdauer) sichern zumindest Nachvollziehbarkeit.

Autonomie ist graduell. Der AI Act knüpft die Aufsicht ausdrücklich daran: Die Aufsichtsmaßnahmen müssen den Risiken, dem Autonomiegrad und dem Einsatzkontext entsprechen (Art. 14 Abs. 3). Dazu gehört, eine Ausgabe übergehen oder das System über eine „stop“-Taste anhalten zu können (Art. 14 Abs. 4 lit. d, e).

Datenabhängigkeit wirkt doppelt: Trainingsdaten können die Wirklichkeit falsch abbilden, und sie veralten. Das NIST nennt Daten, die vom ursprünglichen Kontext abgelöst oder veraltet sind, sowie häufigere Wartung wegen data, model, or concept drift (Anhang B). Lernt ein System im Betrieb weiter, verlangt Art. 15 Abs. 4, feedback loops (Rückkopplungsschleifen) verzerrter Ausgaben zu vermeiden.

Probabilistisch vs. deterministisch: Ein deterministisches Programm liefert bei gleicher Eingabe immer dieselbe Ausgabe. KI-Ausgaben sind statistische Schätzungen mit Fehlerquote; generative Systeme können zudem bei identischer Eingabe unterschiedliche Antworten liefern. Governance antwortet mit Metriken statt Ja/Nein-Tests: Art. 15 Abs. 3 verlangt, Genauigkeitsgrade und Metriken in der Gebrauchsanweisung anzugeben.

Missbrauch ist nicht dasselbe wie Fehlfunktion. Das System funktioniert, wird aber zweckwidrig oder böswillig genutzt. Die OECD verlangt Schutzmechanismen ausdrücklich auch gegen „uses outside of intended purpose, intentional misuse, or unintentional misuse“ (1.2 b).

Abgrenzungen

Begriffspaar	Unterschied
Komplexität – Opazität	Viele Wechselwirkungen vs. nicht nachvollziehbare Begründung; komplexe Systeme sind oft, aber nicht immer opak
Autonomie – Automatisierung	Unabhängigkeit vom menschlichen Eingreifen im Einsatz vs. bloßes Ausführen festgelegter Abläufe
Geschwindigkeit/Ausmaß – Komplexität	Ein Fehler breitet sich massenhaft aus vs. ein Fehler ist schwer zu finden
Schadenspotenzial – Missbrauch	Schaden bei bestimmungsgemäßer Nutzung vs. Schaden durch zweckwidrige Nutzung
Datenabhängigkeit – Drift	Grundeigenschaft vs. eine ihrer Folgen im Betrieb
Probabilistisch – nichtdeterministisch	Ausgabe ist eine Wahrscheinlichkeit vs. gleiche Eingabe kann unterschiedliche Ausgaben erzeugen

Prüfungsfokus

Fall → Eigenschaft: „handelt ohne Freigabe“ → Autonomie; „niemand kann die Entscheidung begründen“ → Opazität; „Fehler erreicht in Minuten Tausende“ → Geschwindigkeit und Ausmaß.
Maßnahme → Eigenschaft: Stoppfunktion → Autonomie; Drift-Überwachung → Datenabhängigkeit; Protokollierung → Opazität; Grenzfallprüfung → probabilistische Ausgaben.
Ablenker: Eine Maßnahme, die zu einer anderen Eigenschaft passt, etwa Erklärbarkeit gegen Skalierungsrisiken.

Mini-Fall

Stadtwerke steuern 300 Ampelkreuzungen mit einem lernenden System, das Grünphasen anhand von Kamera- und Sensordaten selbst festlegt. Nach einem Straßenumbau sinkt die Qualität der Steuerung, Staus breiten sich innerhalb einer Stunde über die ganze Innenstadt aus. Warum das System eine bestimmte Phase gewählt hat, kann niemand sagen.

Auflösung: Autonomie (Phasen ohne Freigabe) → manuelle Übersteuerung und sicherer Rückfall auf feste Programme. Datenabhängigkeit (Umbau verändert die Eingangsdaten) → Drift-Überwachung und Neuvalidierung nach baulichen Änderungen. Geschwindigkeit und Ausmaß (Stau in einer Stunde stadtweit) → Echtzeitüberwachung mit Schwellenwerten für automatisches Zurückschalten. Opazität (keine Begründung) → Ereignisprotokolle, damit Fehler nachträglich analysiert werden können.

Quellen

NIST AI 100-1, Einleitung (soziotechnisch, Komplexität), Abschnitt 1.2.1 (Inscrutability), Abschnitt 3.1 (Genauigkeit, menschliches Eingreifen), Abschnitt 3.2 (Echtzeitüberwachung, Abschalten), Anhang B (Datenabhängigkeit, Drift, Opazität, Skalierung).
EU AI Act, Art. 9 Abs. 2 (Risikomanagement, vorhersehbare Fehlanwendung), Art. 10 (Daten-Governance), Art. 12 (Protokollierung), Art. 13 (Transparenz gegenüber Betreibern), Art. 14 Abs. 3 und 4 (Aufsicht nach Autonomiegrad, Stoppfunktion), Art. 15 Abs. 3 und 4 (Genauigkeitsmetriken, Rückkopplungsschleifen), Art. 72 (Beobachtung nach dem Inverkehrbringen); ErwG 12 (Autonomie).
OECD AI Principles 1.2 b (Fehl- und Missbrauch), 1.4 b (Übersteuern, Abschalten).