Die Integration von KI in bestehende Governance-Strukturen erfordert eine sorgfältige Analyse und Anpassung der bestehenden Verfahren, um die spezifischen Eigenschaften und Risiken von KI-Anwendungen angemessen zu berücksichtigen. Dieser integrative Ansatz ermöglicht eine nachhaltige und zukunftssichere Implementierung von KI-Technologien in Unternehmen, ohne die bestehenden Strukturen zu  zu untergraben.

Im Folgenden wird die Fragestellung beleuchtet, welche Vorgaben der AI-Act hinsichtlich einer KI-Governance macht und wie das Themenfeld KI sinnhaft in den bestehenden Rahmen integriert werden kann?

Rechtslage: Bedeutung und Anforderungen an eine umfassende KI-Governance

KI-Governance bezeichnet den Rahmen aus Strategien, Prinzipien, Prozessen und Ressourcen, mit welchen Organisationen den verantwortungsvollen Einsatz von KI planen, umsetzen, überwachen und weiterentwickeln.

KI-Governance umfasst die systematische Steuerung, Kontrolle und Integration von Künstlicher Intelligenz innerhalb einer Organisation. Ziel ist es, über den gesamten Lebenszyklus von KI-Systemen hinweg Verlässlichkeit, Transparenz, Sicherheit und Verantwortlichkeit sicherzustellen. Eine erfolgreiche und verantwortungsvolle Nutzung von KI erfordert nicht nur die Berücksichtigung technologischer Aspekte, sondern auch ihre Einbettung in strategische, organisatorische und regulatorische Rahmenbedingungen.

Obwohl der AI-Act keine spezifischen und unmittelbaren Governance-Vorgaben enthält, ergeben sich die Anforderungen an eine KI-Governance aus dem bestehenden Aufsichtsrahmen. Dieser Rahmen umfasst die Notwendigkeit einer angemessenen Geschäftsorganisation und eines effektiven Risikomanagements gemäß §25a KWG in Verbindung mit den MaRisk, DORA und der DSGVO.

Das Leitungsorgan eines Unternehmens spielt eine entscheidende Rolle bei der Definition und Implementierung einer transparenten und richtungsgebenden KI-Strategie. Diese muss nahtlos in die Gesamtstrategie des Unternehmens integriert werden, um sicherzustellen, dass ein einheitliches Verständnis und gemeinsame Ziele der KI-Nutzung für alle Abteilungen und Mitarbeiter transparent sind. Darüber hinaus ist es unerlässlich, ein angemessenes KI-Rahmenwerk zu schaffen, das klare Richtlinien und Leitlinien für die Einführung und Nutzung umfasst. Dieses Rahmenwerk dient als Fundament für die verantwortungsvolle und effektive Nutzung von KI-Technologien und stellt sicher, dass die geforderten ethischen Standards eingehalten werden, während gleichzeitig Innovation und Effizienz gefördert werden.

Die branchenübergreifende Norm ISO/IEC 42001, die sich mit Managementsystemen für Künstliche Intelligenz befasst, ist aufgrund der spezifischen Anforderungen von DORA nicht ideal für Finanzunternehmen geeignet.

Bestehende DORA-IKT-Governance-Verfahren als Grundlage für ein effektives Management und Steuerung von KI-Systemen

Die DORA-IKT-Governance-Verfahren bieten eine adäquate Grundlage für das effektive Management von KI-Systemen, um sicherzustellen, dass deren Einsatz in Geschäftsprozessen keine verzerrten Ergebnisse oder Diskriminierung von Stakeholdern verursacht. Durch die Integration von KI-relevanten IKT-Assets mit den unter DORA bereits identifizierten kritischen oder wichtigen Funktionen wird eine Verbindung zu schützenswerten Informations-Assets wie z.B. Kundendaten, hergestellt. Diese Verbindung ist entscheidend, um den Schutz sensibler Daten und die Integrität von Geschäftsprozessen zu gewährleisten. Da viele KI-Anwendungen von Drittanbietern bereitgestellt werden, muss die KI-Governance auch auf diese Anbieter ausgeweitet werden. Das bestehende IKT-Drittparteienrisiko-Management nach DORA ermöglicht eine systematische Verwaltung und Kennzeichnung von KI-Anbietern und unterstützt die Einhaltung neuer gesetzlicher Anforderungen an Verträge mit KI-Dienstleistern. Insgesamt bieten die DORA-Verfahren eine geeignete Basis für eine umfassende und wirksame KI-Governance.

KI-Governance: Zuständigkeitsmodelle und Beteiligte

Unklarheit und Unsicherheit herrscht darüber, wie sich die neuen gesetzlichen Governance- und Risikomanagement-Aufgaben aufbauorganisatorisch sinnvoll zuordnen lassen, und ob zu diesem Zweck möglicherweise gänzlich neue Funktionen bzw. Rollen im Unternehmen geschaffen werden müssen.

Der AI Act macht dazu keine expliziten Vorgaben. Das spricht dafür, den vorstehend beschriebenen integrativen Ansatz zu verfolgen und die KI-bezogenen Governance- und Risikomanagementaufgaben in bestehende gesetzlich konforme Strukturen zu integrieren. Hierfür eignen sich in besonderem Maße die Strukturvorgaben der DORA-Verordnung, welche auf einem ausdrücklich technologieneutralen und ganzheitlichen Steuerungsansatz für jegliche Form von IKT-Assets beruhen.

In vielen Finanzunternehmen wurden und werden sogenannte „KI-Center-of-Competence“ für die Nutzung von KI-Technologie aufgebaut. Diese beschäftigen sich in der aktuellen Praxis zumeist mit der strategischen Nutzung sowie technologischen Aspekten des (geplanten) KI-Einsatzes, jedoch wenig bis gar nicht mit Compliance-bezogenen Aspekten. Aus aufsichtsrechtlicher Sicht verbietet sich eine Übertragung von KI-Governance- und KI-Risikomanagementaufgaben in derartige Teams, da zwischen einer angestrebten Maximierung der Nutzungspotenziale von KI und der Mitigierung von KI-induzierten Risiken ein Spannungsfeld besteht, welches mit potenziellen Interessenkonflikten belastet ist. Insofern sind die Aufgaben aufbauorganisatorisch angemessen zu trennen, wobei für den nutzenorientierten Teil nichts gegen Center of Competence-Strukturen spricht. Basierend auf dem ganzheitlichen Risikosteuerungsansatz der DORA-Verordnung stellen die im AI Act aufgeführten KI-Risiken individuelle Ausprägungen des allgemeinen IKT-Risikos dar. Zur Überwachung und Steuerung dieser Risiken schreibt die DORA-Verordnung die aufbauorganisatorische Funktion des IKT-Risikomanagements vor, welche seit Inkrafttreten am 17. Januar 2025 zwingend zu implementieren ist.

Vor diesem Hintergrund favorisieren wir die Allokation der mit der KI-Governance und dem KI-Risikomanagement verbundenen Verantwortung auf die IKT-Risikomanagement Funktion, welche nicht nur Einzelrisiken überwacht und steuert, sondern diese auch in die ganzheitliche Risikoaggregation aller sonstigen IKT-Risiken einbezieht und bruchfrei in das operationale Risikomanagement auf Gesamtunternehmensebene integrieren kann (holistische Betrachtungsweise). 

Abhängig von der Institutsgröße, des geplanten Umfanges der KI-Nutzung sowie den angestrebten Einsatzbereichen und der Unternehmensstrategie kann es sinnvoll sein, einen dedizierten KI-Risk-Officer in der zweiten Verteidigungslinie zu etablieren (insb. um den Verpflichtungen aus der Unternehmensrolle, z.B. als Betreiber oder Anbieter von KI), gemäß AI-Act, gerecht zu werden. Dies würde einem in der Marktpraxis teilweise bereits etablierten Modell entsprechen, bei dem z.B. bei extensiver Transformation der IT in Richtung Cloudtechnologie ein „Cloud Risk Officer“ sich besonders um die Steuerung der technologiespezifischen Risiken eines verstärkten Einsatzes dieser Technologie kümmert. Im Sinne der Proportionalität ist dies jedoch eher für größere Institute bzw. für neue KI-basierte Geschäftsmodelle relevant.

Unser Angebot an Sie

Die Gestaltung einer effektiven KI-Governance ist eine komplexe Herausforderung, die umfassendes KI-bezogenes  Fachwissen, ein tiefes Verständnis der relevanten regulatorischen Anforderungen und eine enge Integration in interne Governance- und Risiko-Prozesse erfordert. Für den Aufbau einer tatsächlich wirkungsvollen KI-Governance ist ebenfalls fundierte DORA-Expertise unerlässlich – Severn hat in diesem Kontext bereits zahlreiche kritische Projekte erfolgreich begleitet und bewiesen, dass komplexe und regulierungskritische Vorhaben erfolgreich umgesetzt werden können.

Unter Berücksichtigung Ihres individuellen KI-Schwerpunktes, der spezifischen Risikoklassen der von Ihnen eingesetzten oder geplanten KI sowie Ihrer Rolle im KI-Lebenszyklus, unterstützen wir Sie bei der Anpassung und Erweiterung Ihrer Governance-Strukturen. Die umfasst die folgenden Beratungs- und Unterstützungsleistungen:

• Erarbeitung und Dokumentation einer zielführenden KI-Strategie
• Erarbeitung einer angemessenen Richtlinie für den KI-Einsatz im Unternehmen
• Etablierung eines umfassenden KI-Rahmenwerks/-Verantwortlichkeitsmodells (Prinzipien, Leitlinien, Richtlinien, Rollen und Verantwortlichkeiten)
• Integration von KI in bestehende Governance- und Risikomanagement-Prozesse (insb. IKT-Risikomanagement)
• Etablierung des eigenen Institutsstatus als „Betreiber“ versus „Anbieter“ von KI-Systemen
• Angemessene Steuerung von KI-Drittanbietern