Pflichten bei Hochrisiko-KI-Systemen
Beim Einsatz von Hochrisiko-KI-Systemen gelten besondere gesetzliche Anforderungen.
Dabei ist zunächst wichtig zu unterscheiden, welche Rolle ein Unternehmen einnimmt. Die KI-Verordnung unterscheidet insbesondere zwischen Anbietern (Provider) und Betreibern (Deployer).
Je nach Rolle entstehen unterschiedliche Pflichten, die erfüllt werden müssen, damit ein Hochrisiko-KI-System rechtmäßig eingesetzt werden darf.
Auf einen Blick
Section titled “Auf einen Blick”Wie bereits in den vorherigen Artikeln zu den Risikoklassen sowie zu Anbietern und Betreibern erklärt wurde, unterscheiden sich die Pflichten je nach Rolle eines Unternehmens innerhalb der KI-Verordnung erheblich.
Eine offizielle Übersicht der KI-Verordnung (AI Act) der Europäischen Union kann im EUR-Lex-System eingesehen werden.
Die folgende Tabelle dient als vereinfachter Überblick über wichtige Pflichten von Anbietern und Betreibern bei Hochrisiko-KI-Systemen.
| Anbieter (Provider) | Betreiber (Deployer) |
|---|---|
| Art. 9–15: Risikomanagement, Datenqualität, Dokumentation, Transparenz, menschliche Aufsicht, Robustheit | Art. 4: Sicherstellung von KI-Kompetenz |
| Art. 16–22: Qualitätsmanagement, Dokumentation, Logging ≥ 6 Monate | Art. 26: Nutzung nach Vorgaben, menschliche Aufsicht, Logging ≥ 6 Monate, Information betroffener Beschäftigter, Meldung an Behörden |
| Art. 43, 47, 48: Konformitätsbewertung und CE-Kennzeichnung | Art. 27: Grundrechts-Folgenabschätzung (FRIA) bei öffentlichen Stellen sowie bestimmten Kredit- oder Versicherungsanwendungen |
| Art. 49: Registrierung in der EU-Datenbank | Art. 50: Transparenzpflichten gegenüber Betroffenen: KI-Interaktion, synthetische Inhalte, Emotionserkennung |
| Art. 72, 73: Monitoring und Meldung schwerwiegender Vorfälle | |
| Art. 53–55: Besondere Anforderungen für Foundation Models (z. B. große Sprachmodelle) |
Pflichten als Anbieter
Section titled “Pflichten als Anbieter”Risikomanagementsystem
Section titled “Risikomanagementsystem”Der Anbieter einer Hochrisiko-KI muss ein Risikomanagementsystem einrichten, um Risiken systematisch zu identifizieren, zu analysieren und zu bewerten.
Dabei müssen mögliche Gefahren für Sicherheit, Grundrechte oder Gesundheit frühzeitig erkannt und geeignete Maßnahmen zur Risikominimierung getroffen werden.
Welche konkreten Maßnahmen erforderlich sind, hängt vom jeweiligen Einsatzzweck des KI-Systems ab. Ein System zur Personalauswahl bringt beispielsweise andere Risiken mit sich als ein System zur Leistungsüberwachung von Mitarbeitenden.
Beispiel
Section titled “Beispiel”Eine KI sortiert Bewerbungen automatisch vor. Der Anbieter muss prüfen, ob bestimmte Personengruppen systematisch benachteiligt werden könnten, und entsprechende Schutzmaßnahmen implementieren.
Datenqualität sicherstellen
Section titled “Datenqualität sicherstellen”Die verwendeten Daten müssen möglichst hochwertig, geeignet und angemessen repräsentativ sein.
Verzerrte oder ungeeignete Daten können dazu führen, dass KI-Systeme diskriminierende oder sachlich falsche Entscheidungen treffen.
Besonders bei Hochrisiko-KI-Systemen ist daher entscheidend, dass Trainings- und Testdaten sorgfältig ausgewählt und regelmäßig überprüft werden.
Beispiel
Section titled “Beispiel”Ein KI-System zur Bewerberauswahl darf keine irrelevanten oder diskriminierenden Merkmale wie Herkunft, Geschlecht oder ethnische Zugehörigkeit systematisch bevorzugen oder benachteiligen.
Technische Dokumentation und Protokollierung
Section titled “Technische Dokumentation und Protokollierung”Der Anbieter ist verpflichtet, genau zu dokumentieren, wie das KI-System entwickelt wurde und wie es funktioniert.
Die Dokumentation muss unter anderem enthalten:
- Funktionsweise des Systems
- bekannte Grenzen und Risiken
- verwendete Datenquellen
- zulässige Einsatzbereiche
Zusätzlich müssen bestimmte Vorgänge und Entscheidungen protokolliert werden, damit das Verhalten des Systems nachvollziehbar bleibt.
Diese Dokumentation ist auch für Betreiber essenziell, um das System korrekt und sicher einsetzen zu können.
Transparenz und Information für Betreiber
Section titled “Transparenz und Information für Betreiber”Anbieter müssen Betreibern alle relevanten Informationen bereitstellen, damit Hochrisiko-KI-Systeme sicher und nachvollziehbar eingesetzt werden können.
Dazu gehören insbesondere Hinweise:
- zur korrekten Nutzung des Systems
- zu möglichen Risiken
- zu notwendigen Kontrollmaßnahmen
- zu technischen Grenzen der KI
Betreiber müssen dadurch klar verstehen können, wie das System eingesetzt werden darf und welche Risiken zu beachten sind.
Beispiel
Section titled “Beispiel”Ein Anbieter eines KI-Systems zur Kreditbewertung muss offenlegen, welche Faktoren die Bewertung beeinflussen und in welchen Fällen menschliche Kontrolle erforderlich ist.
Menschliche Aufsicht
Section titled “Menschliche Aufsicht”Hochrisiko-KI-Systeme dürfen nicht ohne wirksame menschliche Kontrollmöglichkeiten betrieben werden.
Der Anbieter muss sicherstellen, dass geeignete Personen die Systemausgaben überwachen, nachvollziehen und bei Bedarf steuernd eingreifen können.
Dadurch soll verhindert werden, dass fehlerhafte oder problematische Entscheidungen unkontrolliert getroffen werden.
Beispiel
Section titled “Beispiel”Wenn eine KI Bewerbungen bewertet, muss eine verantwortliche Person die Ergebnisse überprüfen und bei Bedarf die Entscheidung überstimmen können.
Cybersicherheit und Robustheit
Section titled “Cybersicherheit und Robustheit”Der Anbieter muss sicherstellen, dass das Hochrisiko-KI-System ausreichend gegen Manipulation, Angriffe und technische Fehler geschützt ist.
Die Sicherheitsmaßnahmen müssen dem aktuellen Stand der Technik entsprechen und regelmäßig überprüft werden.
Das System soll auch unter ungewöhnlichen Bedingungen stabil und zuverlässig funktionieren.
Beispiel
Section titled “Beispiel”Ein KI-System in einer kritischen Infrastruktur darf nicht durch manipulierte Eingaben oder Cyberangriffe unkontrolliert beeinflussbar sein.
Konformitätsbewertung und CE-Kennzeichnung
Section titled “Konformitätsbewertung und CE-Kennzeichnung”Bevor ein Hochrisiko-KI-System in der Europäischen Union bereitgestellt werden darf, muss geprüft werden, ob alle gesetzlichen Anforderungen erfüllt sind.
Dazu wird eine Konformitätsbewertung durchgeführt.
Anschließend muss das System mit einer CE-Kennzeichnung versehen werden. In bestimmten Fällen ist zusätzlich eine Registrierung in der EU-Datenbank erforderlich. Die CE-Kennzeichnung bestätigt, dass das KI-System die Anforderungen der KI-Verordnung erfüllt.
Monitoring und Meldung von Vorfällen
Section titled “Monitoring und Meldung von Vorfällen”Auch nach der Bereitstellung muss der Anbieter Hochrisiko-KI-Systeme kontinuierlich überwachen („Post-Market Monitoring“), um Risiken und Fehlentwicklungen im laufenden Betrieb frühzeitig zu erkennen.
Dazu gehören insbesondere:
- Erkennung von Fehlfunktionen
- Auswertung von Beschwerden und Auffälligkeiten
- Beobachtung der realen Systemwirkung
- frühzeitige Identifikation von Sicherheitsproblemen
Schwerwiegende Vorfälle müssen dokumentiert und je nach Schweregrad an die zuständigen Behörden gemeldet werden.
Eine Meldung ist insbesondere erforderlich bei:
- erheblichen Schäden für Personen
- Verletzungen von Grundrechten
- hohen Sicherheitsrisiken
- unerwartet schwerwiegenden Fehlentscheidungen des Systems
Solche Vorfälle sind unverzüglich zu melden.
Zusätzlich müssen Betreiber informiert werden, wenn neue Risiken erkannt werden oder zusätzliche Schutzmaßnahmen erforderlich sind.
Beispiel
Section titled “Beispiel”Ein KI-System zur Bewerberauswahl beginnt plötzlich, bestimmte Personengruppen systematisch schlechter zu bewerten.
Der Anbieter muss den Vorfall analysieren, Ursachen identifizieren und geeignete Maßnahmen ergreifen, etwa Modellanpassungen, Einschränkungen oder eine temporäre Deaktivierung.
Pflichten als Betreiber
Section titled “Pflichten als Betreiber”Anleitung und Dokumentation
Section titled “Anleitung und Dokumentation”Der Betreiber muss die Vorgaben des Anbieters strikt einhalten. Die bereitgestellte Dokumentation ist verbindlich und bildet die Grundlage für einen sicheren und regelkonformen Einsatz des KI-Systems.
Sie darf im operativen Betrieb nicht ignoriert werden, da sie unter anderem beschreibt, wie das System korrekt genutzt werden darf und welche Grenzen zu beachten sind.
Menschliche Aufsicht
Section titled “Menschliche Aufsicht”Auch im laufenden Betrieb eines Hochrisiko-KI-Systems muss eine benannte, qualifizierte Person die Ergebnisse überwachen können. Diese Person muss Entscheidungen nachvollziehen und bei Bedarf eingreifen können.
Voraussetzung dafür ist eine ausreichende KI-Kompetenz im Unternehmen (AI Literacy), damit Risiken erkannt, eingeordnet und angemessen behandelt werden können.
Verantwortung beim Umgang mit Eingabedaten
Section titled “Verantwortung beim Umgang mit Eingabedaten”Der Betreiber ist dafür verantwortlich, dass die dem KI-System bereitgestellten Eingabedaten korrekt, geeignet und zweckkonform sind.
Dabei muss sichergestellt werden, dass keine unzulässigen Verzerrungen entstehen oder bestehende Bias-Effekte unbeabsichtigt verstärkt werden.
Monitoring, Protokollierung und Meldung
Section titled “Monitoring, Protokollierung und Meldung”Der Betreiber muss die Ergebnisse des KI-Systems kontinuierlich überwachen und relevante Vorgänge nachvollziehbar dokumentieren.
Festgestellte Auffälligkeiten sind je nach Schweregrad an den Anbieter und gegebenenfalls an zuständige Behörden zu melden.
Bei schwerwiegenden Vorfällen sind geeignete Maßnahmen erforderlich, beispielsweise eine Einschränkung der Nutzung oder eine vorübergehende Aussetzung des Systems.
Ohne ein funktionierendes Monitoring-System kann der Betreiber seine gesetzlichen Pflichten nicht erfüllen.
Informationspflichten
Section titled “Informationspflichten”Transparenz ist verpflichtend und kein optionaler Bestandteil.
Der Betreiber muss sicherstellen, dass Mitarbeitende, Nutzer oder sonstige betroffene Personen über den Einsatz eines KI-Systems informiert werden. Dazu gehört insbesondere die klare Kennzeichnung, dass sie mit einem KI-System interagieren oder KI-generierte Inhalte verwenden.
Grundrechtsfolgenabschätzung in besonderen Fällen
Section titled “Grundrechtsfolgenabschätzung in besonderen Fällen”Öffentliche Stellen sowie bestimmte Betreiber in sensiblen Einsatzbereichen müssen in ausgewählten Fällen prüfen, ob der Einsatz eines Hochrisiko-KI-Systems Auswirkungen auf die Grundrechte betroffener Personen haben kann.
Dies gilt insbesondere bei sensiblen Entscheidungen, etwa im Zusammenhang mit Kreditwürdigkeitsprüfungen, Versicherungsbewertungen oder dem Zugang zu öffentlichen bzw. gesellschaftlich relevanten Leistungen.
Ziel dieser Prüfung ist es, mögliche Risiken für Grundrechte frühzeitig zu erkennen und sicherzustellen, dass keine ungerechtfertigten Benachteiligungen oder unverhältnismäßigen Eingriffe in individuelle Rechte entstehen.
Zusammenarbeit mit Behörden
Section titled “Zusammenarbeit mit Behörden”Der Betreiber ist verpflichtet, mit den zuständigen Behörden zusammenzuarbeiten.
Auf Anfrage müssen Nachweise über den Einsatz des KI-Systems, dessen Funktionsweise sowie die Einhaltung der gesetzlichen Anforderungen bereitgestellt werden.
Was bedeutet das für Unternehmen?
Section titled “Was bedeutet das für Unternehmen?”Zusammengefasst muss ein Unternehmen mehrere zentrale Anforderungen erfüllen, wenn es ein Hochrisiko-KI-System einsetzen möchte.
Dazu gehört zunächst die sorgfältige Prüfung, ob das eingesetzte System tatsächlich als Hochrisiko-KI-System im Sinne der KI-Verordnung einzustufen ist. Darauf aufbauend muss der gesamte Einsatz der KI nachvollziehbar dokumentiert werden, damit Entscheidungen und Prozesse jederzeit überprüfbar bleiben.
Im Unternehmen muss außerdem eine kompetente, verantwortliche Person benannt werden, die die Ergebnisse des KI-Systems überwacht und bei Bedarf eingreifen kann. Ergänzend dazu ist sicherzustellen, dass eine wirksame menschliche Aufsicht über alle relevanten Entscheidungen gewährleistet ist.
Ein weiterer zentraler Punkt ist die Transparenz gegenüber allen betroffenen Personen. Diese müssen darüber informiert werden, dass ein KI-System eingesetzt wird und in welchem Kontext dies geschieht. Zusätzlich sind alle beteiligten Mitarbeitenden entsprechend zu schulen, damit ein sachgerechter und verantwortungsvoller Umgang mit der Technologie gewährleistet ist.
Grundsätzlich gilt: KI ist keine klassische Software. Unternehmen müssen deshalb intern ausreichende fachliche Kompetenz aufbauen, klare Prozesse definieren und eine kontinuierliche Kontrolle des Systems sicherstellen.
Die Grundlage für die Erfüllung dieser Anforderungen ist ein fundiertes Verständnis der Funktionsweise, Grenzen und Risiken von KI-Systemen. Das bezeihcnet man auch als AI Literacy.