Rechtslage: Was Artikel 4 des European AI Act fordert

Gemäß Artikel 4 des AI Act müssen Anbieter und Betreiber von KI-Systemen sicherstellen, dass alle relevanten Beschäftigten „über die erforderliche Kompetenz, Erfahrung oder Ausbildung“ verfügen, um mit KI-Systemen sachgerecht umzugehen. Dies betrifft:

• Mitarbeitende, die KI-Systeme entwickeln, testen oder einsetzen,
• Personen, die Entscheidungen auf Grundlage von KI-Ergebnissen treffen oder diese kontrollieren,
• Fach- und Führungskräfte, die Verantwortung für KI-gestützte Prozesse tragen.

Der Begriff Kompetenz umfasst sowohl ein grundlegendes technisches Verständnis der Funktionsweise von KI-Systemen und die zugrunde liegenden Technologien als auch Kenntnisse zu deren Risiken, regulatorischen Rahmenbedingungen und ethischen Implikationen. Wichtig ist in diesem Zusammenhang die Erkenntnis, dass Kompetenz nicht nur auf die Bedienung einer KI-Anwendung abzielt, sondern insbesondere auf die Fähigkeit, Arbeitsweise und Ergebnisse einer KI-Lösung risikoorientiert eigenständig bewerten zu können und eine kritische Überprüfung der im AI Act benannten Risiken, bezogen auf konkrete Anwendungen, vornehmen zu können.

Status Quo: Fehlende Umsetzung trotz bereits geltender Pflicht

Finanzinstitute befinden sich nach wie vor oft in einem Beobachtungsmodus bezogen auf den Einsatz von KI, obwohl durch das Unternehmen bzw. die Mitarbeitende bereits KI-Lösungen für betriebliche Aufgaben genutzt werden. In vielen Fällen wurden insbesondere für die allgemeine Kompetenzentwicklung bisher keine Umsetzungsmaßnahmen initiiert. Dies ist aus regulatorischer Sicht problematisch. Die Pflicht zum Kompetenzaufbau ist nicht an technische Umsetzungsschritte oder Inbetriebnahmen geknüpft, sondern gilt unabhängig davon, ob bereits konkrete KI-Anwendungen im Einsatz sind. Allein der potenzielle Umgang mit KI-Systemen, etwa durch die Nutzung externer Drittanbieter-Software mit KI-Komponenten, begründet Schulungspflichten.

Darüber hinaus ist ohne ausreichende Kompetenz eine rechtssichere Bewertung der eigenen Betroffenheit, insbesondere hinsichtlich Hochrisiko-Klassifizierungen nach dem AI Act, nicht möglich. Der Kompetenzaufbau ist somit nicht nur als eigener Compliance-Baustein zu verstehen, sondern zugleich Voraussetzung für die Erfüllung weiterer regulatorischer Vorgaben.

Aufsichtliche Erwartungshaltung und Risikolage

Der AI Act enthält keine unmittelbaren Bußgeldvorschriften bezüglich des Aufbaus von KI-Kompetenz. Allerdings ergibt sich aus dem Gesamtkontext des AI Act sowie den allgemeinen Anforderungen an ein ordnungsgemäßes Geschäftsgebaren (z. B. MaRisk AT 4.3.1) ein klarer Erwartungshorizont seitens der Aufsicht. Ein Verstoß gegen die Schulungspflicht kann im Rahmen einer Prüfung als organisationsbezogenes Versäumnis gewertet werden, welches entsprechende aufsichts- und haftungsrechtliche Konsequenzen nach sich ziehen kann. Zudem besteht für Institute ein inhärentes Reputationsrisiko, das sich durch unreflektierten oder fehlerhaften Einsatz von KI durch unzureichend geschulte Mitarbeitende in Kundenbeschwerden, Klagen, Diskriminierungsvorwürfen oder Datenpannen manifestieren kann.

Unsere Empfehlung: Strukturierter Kompetenzaufbau

Finanzinstitute müssen kurzfristig prüfen, ob und in welchem Umfang sie die Anforderungen des Artikel 4 des AI Act erfüllen. Wesentliche Schritte umfassen dabei:

• Die Identifikation betroffener Rollen entlang der Nutzung und Überwachung von KI-Systemen,
• die Entwicklung eines rollenbasierten Schulungskonzepts, das regulatorische, technische und ethische Aspekte umfasst,
• die Durchführung von Schulungen mit Elementen des Computer Based Trainings sowie physische Schulungen mit Diskurspotenzial, insbesondere für das Leitungsorgan und das Management,
• die Dokumentation der durchgeführten Schulungen und der vermittelten Inhalte zur Nachweisführung gegenüber der Aufsicht,
• die Etablierung eines kontinuierlichen Schulungsprozesses, um der dynamischen Entwicklung von KI-Technologien und Rechtsvorgaben Rechnung zu tragen.

Priorität sollten dabei Bereiche und Anwendungsfelder haben, in denen bereits heute KI-Anwendungen mit potenziell hoher Risikorelevanz eingesetzt werden.

Ausblick: KI-Bestandsaufnahme

Im zweiten Teil dieser Blogreihe widmen wir uns der notwendigen „Bestandsaufnahme“ von genutzten KI-Systemen. Denn zur gezielten Ermittlung und Priorisierung von Schulungsbedarfen und regulatorischen Risiken gilt es zunächst mittels eines strukturierten und aufsichtlich bewährten Vorgehens, KI-Anwendungen und KI-unterstützte Prozesse im Unternehmen zu identifizieren. Von besonderer Relevanz ist dabei die Identifikation des unregistrierten und unkontrollierten Einsatzes von KI-Lösungen durch Mitarbeitende im Rahmen ihrer dispositiven Aufgabeerledigungen. Dies umfasst z. B. das Mitschneiden von Videokonferenzen mit KI-Lösungen, um automatisierte Protokolle zu erhalten, die KI-gestützte Analyse von betrieblichen Dokumenten, die KI-gestützte Übersetzung von betrieblicher Korrespondenz oder die Analyse betrieblicher Daten mittels KI.

Unser Angebot

Wir unterstützen Sie mit aufsichtlich bewährten Lösungen beim Aufbau und der Umsetzung von KI-Kompetenz durch

• Rollenbasierte Schulungsprogramme für Fachbereiche und Management
• Awareness-Workshops zur Einführung in die aufsichtsrechtliche Logik des AI Act
• Verzahnung mit bestehenden Schulungsplänen (MaRisk, DSGVO, DORA)