22.04.2021 | Alexander Nölle

Aufsichtsrecht & Meldewesen

Aufsichtliche Regulierung Künstlicher Intelligenz

Nun wird auch der Einsatz künstlicher Intelligenz explizit reguliert!

Regulierung von Banken und Finanzdienstleistern (u.a. über die CRR/CRD), Regulierung von Wertpapierfirmen (über die gerade erst geschaffene Investment Firm Regulation bzw. Investment Firm Directive), Regulierung von FinTechs und RegTechs (u.a. über das Zahlungsdiensteaufsichtsgesetz), Regulierung von Informations- und Kommunikationstechnologie (u.a. über die BAIT, die VAIT, die KAIT, die ZAIT) und nun noch Regulierung zum Einsatz künstlicher Intelligenz (KI) bzw. Artificial Intelligence (AI).

Hintergrund und Zielsetzung
Die Europäische Kommission hat einen Entwurf für einen Regulierungsrahmen zum Einsatz von KI vorgelegt. Darin formuliert sie als oberstes Ziel, dass KI dem Menschen dienen solle und somit keine ethischen oder fundamentalen Grundrechte durch den Einsatz von KI verletzt werden sollen („AI should be a tool for people and be a force for good in society with the ultimate aim of increasing human well-being.“).

Aus den einführenden Worten dieser Verordnung und aus anderen Papieren der EU geht hervor, dass die Behörden die rasante Entwicklungen bestimmter Formen von KI im Blick hatten, als sie den vorliegenden Regulierungsrahmen geschaffen haben. Hierzu gehören insbesondere die Vorgehensweisen bestimmter BigTechs, die in ihren sozialen Netzwerken und Suchmaschinen vielfältige Formen von KI bzw. Algorithmen einsetzen, um das Nutzerverhalten und individuelle Präferenzen von Nutzern zu analysieren, um damit ihre eigenen Leistungen und Angebote zu verbessern oder um die gewonnenen Erkenntnisse auch Dritten kostenpflichtig zur Verfügung zu stellen.

Auch der verstärkte Einsatz von Gesichtserkennungssoftware (real-time remote biometric identification) im privaten und öffentlichen Raum oder die Entwicklung von sog. Deep Fakes (also dem bewussten Verfälschen von Gesichtern und Aussagen von Menschen bzw. die bewusste Zuordnung von nicht getroffenen Aussagen zu Gesichtern oder Stimmen in einer täuschend echten Form) hat die Behörden zum Nachdenken angeregt.

Es erscheint nachvollziehbar, dass die Behörden zumindest die Menschen in der EU (die also ihrem unmittelbaren Einflussbereich unterliegen) vor dem Einsatz und den Folgen solcher Techniken bzw. vor dem missbräuchlichen Einsatz solcher Techniken, schützen wollen.

Wie immer im Bereich der Regulierung, besteht die Gefahr, dass durch Regulierung auch zusätzliche Hürden für Fortschritt geschaffen werden, auch wenn sich natürlich trefflich darüber streiten lässt, ob es "guten" oder "schlechten" Fortschritt gibt bzw. ob eine Gesellschaft jede Form von technischem Fortschritt braucht oder zulassen muss. Diese Diskussion ist uralt und wurde beispielweise schon in Friedrich Dürrenmatts „Die Physiker“ (aus dem Jahr 1961) im Kontext der Atombombe / Atomenergie geführt. Auch stellt sich die Frage, inwieweit sich Europa im Wettbewerb mit Ländern wie den USA oder China einen Gefallen mit "zu starker" Regulierung tut. Auch diese Diskussion ist alt und wurde vielfach an ganz unterschiedlichen Stellen geführt. Gleichwohl müssen diese Diskussionen selbstverständlich immer wieder neu geführt werden, um den vielfältigen, sich durchaus auch ändernden, Interessen und Zielen einer Gesellschaft möglichst gerecht werden zu können.

Kernelemente der Regulierung - high-​risk AI systems vs. non high-​risk AI systems
Im Jahr 2018 wurde die High-Level Expert Group on AI (HLEG) gegründet, die die EU-Kommission beim Umgang mit KI beraten soll. Ein erstes Ergebnis dieser HLEG war die Entwicklung von Ethics Guidelines for Trustworthy AI. Zusätzlich wurde die Assessment List for Trustworthy Artificial Intelligence (ALTAI) und schließlich eine erweiterte Expertenplattform „AI Alliance“ mit rund 5000 Mitgliedern ins Leben gerufen.

Vor diesem Hintergrund wurde die nunmehr vorliegende Verordnung entwickelt mit dem Kernansatz einer Unterscheidung nach guter und schlechter KI bzw. einer Differenzierung nach high-risk AI systems auf der einen Seite und non high-risk AI systems auf der anderen Seite.

High-risk AI (HRAI) soll demnach künftig verpflichtenden Standards unterliegen, während für non high-risk AI lediglich die Befolgung eines Code of Conduct empfohlen wird. Ein solcher CoC kann von den Anbietern und Nutzern der non high-risk AI selbst erstellt werden. Als HRAI werden grundsätzlich zwei Ausprägungsformen gesehen:

• HRAI, die im Kontext sicherheitsrelevanter Produkte / Anwendungen eingesetzt werden soll (z.B. selbstfahrende Autos)
• HRAI, die die fundamentalen Grundrechte in der EU beeinflussen könnte (hierunter können z.B. auch Systeme zur Ableitung der Kreditwürdigkeit fallen)

Bestimmte Formen von HRAI (etwa im Bereich „social scoring“) sollen künftig gänzlich verboten werden in der EU. Hierzu ist der Verordnung eine Liste verbotener Praktiken zu entnehmen.

Ein European Artificial Intelligence Board (the ‘Board’) soll künftig für die Überwachung der Vorgaben zuständig sein.

Die Anforderungen an High-risk AI

• Zunächst einmal sollen künftig alle high-risk AI an ein EU-weites Register gemeldet werden.
• Die Entwickler dieser HRAI sind verpflichtet, alle relevanten Informationen zur Funktionsweise und zu den möglichen Risiken der jeweiligen HRAI zur Verfügung zu stellen.
• Jede HRAI muss einen Konformitätstest zu den Anforderungen der EU an HRAI durchlaufen.
• Anbieter von HRAI sind verpflichtet, Zwischenfälle im Zusammenhang mit der Nutzung ihrer HRAI zu melden.
• In dem Kontext müssen Logs ermöglicht werden und diese sind zu dokumentieren.
• Anbieter und Nutzer von HRAI müssen ein Qualitätsmanagementsystem zur Entwicklung und Überwachung von HRAI vorhalten.
• Verbraucher sind vorab zu informieren, wenn HRAI Emotionen oder Nutzerverhalten analysiert
• HRAI soll mit einem Konformitätszeichen (CE) versehen werden.
• Anbieter von HRAI sind verpflichtet, ein post-market monitoring system einzurichten, um HRAI über den gesamten Einsatzzeitraum auf mögliche Schwächen oder Vorfälle hin zu überwachen.

Relevanz für Banken
Banken nutzen verstärkt KI bzw. Algorithmen, die zum Beispiel das Kundenverhalten analysieren und bestimmte potentielle Bedarfe identifizieren. So lässt sich etwa aus dem Verhalten eines bestimmten Anlegers oder einer bestimmten Gruppe von Anlegern mit bestimmten charakteristischen Merkmalen ableiten, ob nicht möglicherweise auch andere Anleger / Kunden mit ähnlichen Merkmalen ebenfalls geeignet wären für ein bestimmtes Produkt oder ein bestimmtes Wertpapier, was letztlich eine gezielte effektive Kundenansprache ermöglicht.

Die EU-Kommission hat in ihren Erwägungsgründen zur Verordnung bestimmt, dass die Regulierung von KI mit Blick auf Banken bzw. Finanzunternehmen nicht zu Redundanzen führen soll. Das heißt, dass die wesentlichen Elemente der Verordnung zur Regulierung von KI in die für die Finanzindustrie geltende bestehende EU-Richtlinie 2013/36/EU aufgenommen werden sollen.

So sollen etwa Anbieter bzw. Anwender von HRAI ein angemessenes Risikomanagement vorhalten, das die Risiken aus solchen HRAI erkennt, überwacht und handhabt.
Banken sollen diese auf HRAI bezogenen Risiken in ihr bestehendes Risikomanagement nach Art. 74 CRD integrieren. Vgl. hierzu etwa Art. 8 Abs. 9 der KI-Verordnung. Gleiches gilt etwa für die Einrichtung eines Qualitätsmanagementsystems oder bestimmte Dokumentationspflichten bezogen auf solche HRAI. Auch dies soll in das bestehende Risikomanagement bzw. die bestehende Internal Governance integriert werden.

Bußgeld bei Nichteinhaltung
Die Verordnung sieht ein Bußgeld von bis zu 30 Mio EUR oder 6% des Jahresumsatzes eines Unternehmens vor, sofern gegen die Anforderungen der Verordnung verstoßen wird.

 

Kommen Sie auf uns zu!
Wir unterstützen Sie gerne mit unseren Experten im Bereich Regulierung und Künstlicher Intelligenz!

 

 

Quellen:

Proposal for a Regulation on a European approach for Artificial Intelligence