EU KI-Gesetz: Beratung zur Verordnung über künstliche Intelligenz
Seit dem 1. August 2024 gilt die europäische Verordnung über künstliche Intelligenz (Artificial Intelligence Act, kurz AI Act). KI steht für Künstliche Intelligenz (englisch: Artificial Intelligence, AI) und bezeichnet die Fähigkeit von Computern oder Maschinen, Aufgaben zu erfüllen, die menschliche Intelligenz erfordern und traditionell von Menschen ausgeführt werden. Die Regelungen des AI Act treten während einer 24-monatigen Übergangsphase schrittweise in Kraft. Die in der Verordnung enthaltenen Vorgaben zur Governance gelten bereits seit dem 2. August 2025.
Was ist die KI-Verordnung?
Die KI-Verordnung (AI Act) reguliert die Entwicklung, den Einsatz und die Nutzung von KI-Systemen in der Europäischen Union. Es handelt sich um ein horizontales und sektorübergreifendes Regelungswerk.
Was ist ein KI-System?
KI-Anwendungen werden branchengreifend von Unternehmen in den unterschiedlichsten Bereichen eingesetzt. Die Legaldefinition der Verordnung ist daher bewusst weit gefasst und definiert KI-Systeme als ein maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie betrieben werden kann und nach seiner Einführung Anpassungsfähigkeit zeigt, und das für explizite oder implizite Ziele aus den Eingaben, die es erhält, ableitet, wie es Aus-gaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen generieren kann, die physische oder virtuelle Umgebungen beeinflussen können.
Für wen gilt die KI-Verordnung der EU?
Die KI-Verordnung (AI Act) enthält Vorgaben für nahezu alle Akteure in der KI-Wertschöpfungskette. Im Schwerpunkt enthält sie Vorgaben für „Anbieter“ und „Betreiber“ von KI-Systemen. Beide Begriffe werden in der Verordnung definiert und sind weit auszulegen. Anbieter ist derjenige, der in der Union KI-Systeme in Verkehr bringt oder in Betrieb nimmt oder KI-Modelle für allgemeine Zwecke in Verkehr bringt. Unerheblich ist, ob der Anbieter in der Union oder in einem Drittland niedergelassen oder ansässig ist. Betreiber ist jedes Unternehmen, das KI im beruflichen Kontext – bewusst oder unbewusst – verwendet.
Wie reguliert die EU KI-Systeme?
Der AI ACT definiert vier Risikostufen mit unterschiedlicher Regelungs- und Eingriffsintensität im Verhältnis zum Risiko der Gefährdung der zu schützenden Rechtsgüter (risikobasierter Regulierungsansatz):
1. Verbot von KI-Systemen mit unannehmbarem Risiko
KI-Systeme, die ein unannehmbares Risiko darstellen, werden als verbotene Praktiken ganz untersagt. Das Verbot gilt in der Europäischen Union seit dem 2. Februar 2025. Solche Systeme dürfen nicht auf den Markt gebracht, betrieben oder verwendet werden.
Was sind KI-Systeme, die ein unannehmbares Risiko darstellen? Hierzu benennt die Verordnung explizit bestimmte Anwendungsbereiche und Praktiken, die als unannehmbares Risiko gelten. Diese sind
- Social Scoring: KI-basierte Systeme, die Menschen anhand ihres Verhaltens, sozioökonomischen Status oder persönlicher Merkmale bewerten und klassifizieren.
- Manipulation und Ausnutzung: KI-Systeme, die das Verhalten von Personen kognitiv beeinflussen oder Schwachstellen von besonders schutzbedürftigen Gruppen ausnutzen, z.B. sprachgesteuertes Spielzeug, das gefährliches Verhalten bei Kindern fördert.
- Biometrische Echtzeit-Fernidentifizierung: KI-Systeme zur biometrischen Identifikation (z.B. Gesichtserkennung) im öffentlichen Raum, insbesondere in Echtzeit, sind grundsätzlich verboten, mit wenigen streng geregelten Ausnahmen für die Strafverfolgung.
- Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen.
- Biometrische Kategorisierung natürlicher Personen zur Ableitung sensibler Merkmale wie ethnische Herkunft, politische Ansichten, Religionszugehörigkeit, sexuelle Orientierung etc.
- Scraping von Gesichtsbildern zur Erstellung/Erweiterung von Gesichtserkennungs-Datenbanken aus dem Internet oder Videoüberwachung.
Die Liste verbotener Anwendungen kann durch die EU-Kommission künftig erweitert werden. Die Abgrenzung zwischen „unannehmbar“ und „hochriskant“ im konkreten Einzelfall ist hochkomplex, insbesondere in den Bereichen Social Scoring und Manipulation und Ausnutzung.
2. Hochrisiko-KI-Systeme
Die nachfolgende Stufe sind Hochrisiko-KI-Systeme (high risk AI systems). Dies sind solche KI-Anwendungen, die ein besonderes Gefährdungspotenzial für Gesundheit, Sicherheit oder Grundrechte von Menschen haben. Sie sind nicht verboten, unterliegen aber besonders strengen gesetzlichen Anforderungen. Die Verordnung differenziert zwischen zwei Arten von Hochrisiko-KI-Systemen:
- Embedded Al Systems: KI-Systeme mit Produktsicherheitsklassifizierung nach Anhang I
Die erste Gruppe der Hochrisiko-KI‑Systeme sind KI‑Systeme, die entweder selbst oder als Sicherheitsbauteil eines anderen Produkts aufgrund bereits bestehender Harmonisierungsvorschriften der EU einer Konformitätsbewertung zu unterziehen sind. Vereinfacht ausgedrückt, handelt es sich dabei um bestimmte KI-Anwendungen, die das Produkt selbst darstellen oder die in physischen Produkten verbaut sind. - Non-Embedded Al Systems: Autonome KI-Systeme in risikoreichen Anwendungsbereichen
Die zweite Gruppe der Hochrisiko-KI‑Systeme ist unabhängig von einer Produktsicherheitsklassifizierung. Ihre Risikoeinstufung als Hochrisiko-KI-System ist von ihrem Einsatz in einem der acht, in Anhang III genannten, sensiblen Bereichen abhängig:
Die acht Bereiche im Detail
- Biometrie (z.B. Gesichtserkennung zur Identifizierung, biometrische Kategorisierung, Emotionserkennung)
- Kritische Infrastruktur (Energieversorgung, Verkehr, Wasserversorgung)
KI-Systeme, die bestimmungsgemäß als Sicherheitsbauteile im Rahmen der Verwaltung und des Betriebs kritischer digitaler Infrastruktur, des Straßenverkehrs oder der Wasser-, Gas-, Wärme- oder Stromversorgung verwendet werden sollen. - Allgemeine und berufliche Bildung
KI-Systeme, die bestimmungsgemäß zur Feststellung des Zugangs oder der Zuweisung zu Einrichtungen und für die Bewertung von Lernergebnissen und Steuerung des Lernprozesses und zum Zweck der Bewertung des angemessenen Bildungsniveaus und zur Überwachung und Erkennung von verbotenem Verhalten von Schülern bei Prüfungen verwendet werden sollen. - Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit
KI-Systeme, die bestimmungsgemäß für die Einstellung oder Auswahl, insbesondere um gezielte Stellenanzeigen zu schalten, Bewerbungen zu sichten oder zu filtern und Bewerber zu bewerten und für Entscheidungen, die die Bedingungen von Arbeitsverhältnissen, Beförderungen und Kündigungen von Arbeitsvertragsverhältnissen beeinflussen, für die Zuweisung von Aufgaben aufgrund des individuellen Verhaltens oder persönlicher Merkmale oder Eigenschaften oder für die Beobachtung und Bewertung der Leistung und des Verhaltens von Personen verwendet werden sollen. - Zugänglichkeit und Inanspruchnahme grundlegender privater und öffentlicher Dienste und Leistungen
Erfasst sind KI-Systeme, die bestimmungsgemäß verwendet werden sollen- von Behörden oder im Namen von Behörden verwendet werden sollen, um zu beurteilen, ob natürliche Personen Anspruch auf grundlegende öffentliche Unterstützungsleistungen und dienste haben und ob solche Leistungen und Dienste zu gewähren, einzuschränken, zu widerrufen oder zurückzufordern sind;
- für die Kreditwürdigkeitsprüfung und Bonitätsbewertung natürlicher Personen
- für die Risikobewertung und Preisbildung in Bezug auf natürliche Personen im Fall von Lebens- und Krankenversicherungen
- zur Bewertung und Klassifizierung von Notrufen von natürlichen Personen oder für die Entsendung oder Priorisierung des Einsatzes von Not- und Rettungsdiensten, einschließlich Polizei, Feuerwehr und medizinischer Nothilfe, sowie für Systeme für die Triage von Patienten bei der Notfallversorgung.
- Strafverfolgung
Genannt sind KI-Systeme zur bestimmungsgemäßen Verwendung von Strafverfolgungsbehörden- zur Bewertung des Risikos einer natürlichen Person, zum Opfer von Straftaten zu werden
- als Lügendetektoren
- zur Bewertung der Verlässlichkeit von Beweismitteln im Zuge der Ermittlung oder Verfolgung von Straftaten
- zur Bewertung des Risikos, dass eine natürliche Person eine Straftat begeht oder erneut begeht, oder zur Bewertung persönlicher Merkmale und Eigenschaften oder vergangenen kriminellen Verhaltens von natürlichen Personen oder Gruppen
- zur Erstellung von Profilen natürlicher Personen gemäß Artikel 3 Absatz 4 der Richtlinie (EU) 2016/680 im Zuge der Aufdeckung, Ermittlung oder Verfolgung von Straftaten.
- Migration, Asyl und Grenzkontrolle
Der Anhang benennt in diesem Zusammenhang KI-Systeme, die bestimmungsgemäß von zuständigen Behörden als Lügendetektoren oder zur Bewertung des Risikos der irregulären Einwanderung, und zur Unterstützung bei der Prüfung von Asyl- und Visumanträgen sowie Aufenthaltstiteln und damit verbundenen Beschwerden oder im Zusammenhang mit Migration, Asyl oder Grenzkontrolle zum Zwecke der Aufdeckung, Anerkennung oder Identifizierung natürlicher Personen verwendet werden sollen. - Justiz und demokratische Prozesse
Aufgeführt sind KI Systeme, die bestimmungsgemäß verwendet werden sollen, um Justizbehörden bei der Ermittlung und Auslegung von Sachverhalten und Rechtsvorschriften und bei der Anwendung des Rechts auf konkrete Sachverhalte zu unterstützen oder um das Ergebnis einer Wahl oder eines Referendums oder das Wahlverhalten natürlicher Personen zu beeinflussen.
Das Profiling natürlicher Personen wird stets als Hochrisiko-KI eingestuft, selbst wenn das Risiko gering erscheint.
Gegenbeweis für Autonome KI-Systeme in risikoreichen Anwendungsbereichen
Die Verordnung erlaubt unter bestimmten Bedingungen einen Gegenbeweis für Hochrisiko-KI Systeme nach Ziff. 2 (Non-Embedded Al Systems). Ein Non-Embedded KI-System, das grundsätzlich als Hochrisiko-KI-System eingestuft wird, kann den Gegenbeweis erbringen, wenn nachgewiesen wird, dass der Einsatz des KI-Systems kein erhebliches Risiko für die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen darstellt, weil das KI-System:
- keine "Letztentscheidungskompetenz" besitzt,
- nur unterstützend eingesetzt wird und
- die menschliche Entscheidung nicht ersetzt.
Beispiele sind einfache Lebenslauf-Analysen oder Dokumentenkategorisierung. Das Vorliegen der Voraussetzungen der Ausnahme ist zu dokumentieren und auf Anfrage den Behörden vorzulegen.
Gesetzliche Anforderungen an Hochrisiko-KI-Systeme
Für Hochrisiko-KI-Systeme gelten strenge gesetzliche Anforderungen: Sie müssen behördlich überwacht und registriert werden und dürfen nur bei Erfüllung aller Vorgaben eingesetzt werden.
- Pflichten für Anbieter von Hochrisiko-KI-Systemen
- Erfüllung umfassender technischer Anforderungen, wie das Einhalten von Genauigkeit, Robustheit und Cybersicherheit (Art. 15)
- Errichtung und Aufrechterhaltung eines angemessenen Risikomanagement-Systems über den gesamten Lebenszyklus der KI (Art. 9)
- Bereitstellung klarer und verständlicher Informationen und Gebrauchsanleitungen für die Betreiber (Art. 13)
- Durchführung von Konformitätsbewertungsverfahren sowie Ausstellung einer EU-Konformitätserklärung und CE-Kennzeichnung (Art. 47)
- Sicherstellung einer angemessenen Daten-Governance- und Datenverwaltungsverfahren
- Qualitätssicherung, Dokumentationspflichten und Nachweiserbringung gegenüber Behörden (u.a. Artikel 17, 18, 20). Hierzu ist die Einhaltung dieser Pflichten technisch zu dokumentieren und die Ergebnisse sind zu protokollieren. Zu protokollieren sind auch Verwendungen, Daten und Mitarbeiterkennung.
- Pflichten für Betreiber von Hochrisiko-KI-Systemen
- Sicherstellen, dass Mitarbeitende, die mit dem System arbeiten, ausreichend geschult sind.
- Technischer und organisatorischer Betrieb der KI gemäß den Vorgaben des Anbieters.
- Gewährleistung der menschlichen Aufsicht und Kontrolle (Art. 26).
- Zweckgebundene Nutzung und Überwachung auf Risiken im laufenden Betrieb.
- Meldung bei Problemen und Zusammenarbeit mit Behörden.
- Registrierungspflicht in einer EU-Datenbank
Zudem sind Hochrisiko-KI-Systeme in einer EU-Datenbank von Anbietern und Betreibern zu registrieren.
Inkrafttreten der Regelungen
Die detaillierten Pflichten für Hochrisiko-KI-Systeme gelten gestaffelt
- für Non-Embedded KI-Systeme (die in Anhang III der Verordnung aufgeführt sind) ab dem 2. August 2026 und
- für Embedded KI-Systeme (die unter die Produktsicherheitsklassifizierung in Anhang I fallen) ab dem 2. August 2027.
3. Mittleres oder spezifisches Risko
KI-Systeme mit mittlerem Risiko sind Systeme, die für die Interaktion mit Menschen bestimmt sind. Hierzu zählen u.a. Chatbots sowie KI mit der Fähigkeit, Medieninhalte zu generieren. Die erhöhte Risikoeinstufung ergibt sich daraus, dass der Einsatz dieser KI-Systeme mit einem gewissen Manipulationsrisiko verbunden ist. Unternehmen haben daher offenzulegen, dass mit einer KI kommuniziert wird, und Deep-Fake-Inhalte sind zu kennzeichnen.
Für Anbieter und Betreiber von KI-Systemen mit mittlerem Risiko gelten die Vorschriften des AI-Act ab dem 2. August 2025. Ab diesem Zeitpunkt müssen solche Systeme Vorschriften in Bezug auf Daten, Daten-Governance, Dokumentation und das Führen von Aufzeichnungen, Transparenz und Bereitstellung von Informationen für die Betreiber, menschliche Aufsicht, Robustheit, Genauigkeit und Sicherheit erfüllen. Die Implementierung im Einzelfall rechtlich zu begleiten, kann sinnvoll sein.
4. Geringes Risiko oder kein Risiko
Für KI-Systeme mit geringem Risiko, - etwa Spamfilter, KI in Videospielen oder personalisierte Empfehlungen –, gelten grundsätzlich keine besonderen rechtlichen Anforderungen für Anbieter oder Betreiber. Der EU AI-Act ist am 1. August 2024 in Kraft getreten. Die Vorschriften greifen unmittelbar mit Inkrafttreten der Verordnung, jedoch ohne konkrete Vorgaben oder Meldepflichten für geringe Risikosysteme. Für solche Systeme sind jedoch freiwillige Maßnahmen wie Verhaltenskodizes möglich.
Ausreichendes Maß an KI-Kompetenz durch KI-Schulung
Artikel 4 des AI Act, der seit dem 2. Februar 2025 gilt, schreibt Unternehmen und Organisationen vor, Maßnahmen zu ergreifen, damit alle Personen, die beruflich mit KI-Systemen arbeiten, über die notwendigen Fähigkeiten, Kenntnisse und das Verständnis verfügen, um KI-Systeme sachkundig und verantwortungsvoll einzusetzen. Die Pflicht, bei Mitarbeitenden ein ausreichendes Maß an KI-Kompetenz („AI Literacy“) zu wecken, ist somit im AI Act ausdrücklich verbindlich vorgeschrieben.
Diese Pflicht ist risikoklassenunabhängig und betrifft alle Anbieter und Betreiber von KI-Systemen, unabhängig von der Unternehmensgröße.
Die Verordnung gibt zwar keine konkreten Vorgaben, wie die KI-Kompetenz konkret nachzuweisen oder vermittelt werden muss, aber die Verantwortlichen müssen sicherstellen, dass das Personal die Risiken, Chancen und auch ethische sowie rechtliche Aspekte der KI-Nutzung versteht und entsprechend handeln kann. Die Kommission und die Mitgliedstaaten fördern gem. Art. 95 AI Act die Aufstellung von Verhaltenskodizes und Governance-Mechanismen durch Branchenmitglieder, nach denen sich Anbieter und Betreiber von KI richten können.
KI-Kennzeichnungspflicht ab dem 2. August 2026
Ab dem 2. August 2026 müssen Anbieter und Betreiber von KI-Systemen, die KI-Inhalte öffentlich verbreiten, bestimmte KI-generierte Inhalte eindeutig als solche kennzeichnen, damit für Nutzer transparent ist, ob ein Bild, ein Video, ein Audio oder ein Text von einer künstlichen Intelligenz erstellt oder manipuliert wurde – insbesondere, wenn der Eindruck entsteht, es sei echtes, von Menschen erzeugtes Material. Hiervon ausgenommen sind künstlerische, wissenschaftliche, redaktionell kontrollierte, strafverfolgende und private KI-Nutzungen sowie technisch offensichtliche KI-Interaktionen. Bei einem Verstoß gegen die KI-Kennzeichnungspflicht drohen Bußgelder von bis zu 15 Mio.€ oder 3% des Jahresumsatzes.
Unsere Beratungsleistungen zur KI-Regulierung
Wir unterstützen Sie dabei die regulatorische Anforderungen zu verstehen und umzusetzen und reduzieren damit die Haftungsrisiken ihres Unternehmens, des Aufsichtsrats und Managements sowie der Mitarbeiter.
- KI-spezifische Vertragsgestaltung – inklusive Haftung, Risiko, Kontrollrechte
- Aufbau von Risiko-Awareness und Governance-Strukturen
- KI-Compliance
- KI-Standortbestimmung (Readiness-Check) Identifikation von Risiken und regulatorischen Lücken – und wie man sie schließt Empfehlungen für strategische Maßnahmen
- KI-Bestandsaufnahme & Inventarisierung
- Einbindung in das Compliance Managementsystem (CMS) durch Erweiterung des bestehenden Risikomanagements, Anpassung von Berichtsformaten & Kontrollprozessen und organisatorischer Strukturen (IKT-Prozesse, Verträge mit Dienstleistern)
- KI-Steuerung
- Aufbau eines Monitorings & Reportings gemäß KI-Verordnung
- KI-Implementierung
- KI-Richtlinie: Diese Richtlinie ist für jedes Unternehmen eine Notwendigkeit, unabhängig von Größe oder Branche. Sie hilft dabei, klare Regeln für die Verwendung der KI im Unternehmen zu etablieren und rechtliche Risiken im Umgang mit KI-Tools zu vermeiden.
Ihr Anwalt für KI-Systeme
Bei Fragen zur KI-Verordnung und zur rechtskonformen Verwendung von KI stehen wir Ihnen gerne zur Verfügung. Als Full-Service Kanzlei haben wir dabei nicht nur deren Vereinbarkeit mit den Vorgaben des Datenschutzes im Blick, sondern verfolgen einen ganzheitlichen Beratungsansatz. Nutzen Sie die Chancen der KI. Wir kümmern uns um Ihre Sicherheit und Ihren Erfolg. Kommen Sie gern mit Ihren Fragen auf uns zu!
Sie benötigen Unterstützung?
Sie haben Fragen zu unseren Leistungen oder möchten einen persönlichen Beratungstermin vereinbaren? Wir freuen uns auf Ihre Kontaktaufnahme! Häufig gestellte Fragen beantworten wir in unseren FAQs.
Oder rufen Sie uns an: +49 (0)69 76 75 77 80
Häufig gestellte Fragen zur KI-Verordnung?
Welche Unternehmen sind von der EU KI-Verordnung betroffen?
Die KI-Verordnung gilt für nahezu alle Unternehmen, die KI-Systeme im beruflichen Kontext einsetzen – unabhängig von Größe oder Branche. Anbieter und Betreiber von KI-Systemen sind besonders adressiert.
Wie wird das Risiko von KI-Systemen nach der EU KI-Verordnung eingestuft?
Die Verordnung unterscheidet vier Risikokategorien: nicht akzeptables Risiko, hohes Risiko, begrenztes Risiko und kein Risiko. Je nach Kategorie gelten unterschiedliche Prüf- und Dokumentationspflichten.
Welche Anforderungen müssen Unternehmen bei Hochrisiko-KI-Systemen umsetzen?
Unternehmen müssen ein umfassendes Risikomanagement über den Lebenszyklus der KI etablieren, Daten-Governance sicherstellen, alle Vorgänge dokumentieren und Hochrisiko-KI-Systeme in einer EU-Datenbank registrieren.
Was ist bei der Einführung von KI im Unternehmen organisatorisch zu beachten?
Firmen sollten Richtlinien für den Umgang mit KI-Systemen etablieren, Mitarbeitende schulen, Vertragswerke anpassen und interne Prozesse wie Monitoring und Compliance Management weiterentwickeln.
Wieso ist die Beteiligung des Betriebsrats beim Einsatz von KI-Systemen unerlässlich?
Der Betriebsrat muss bei der Planung und Einführung von KI nach Betriebsverfassungsgesetz unterrichtet und beteiligt werden, insbesondere wenn der Einsatz mitbestimmungspflichtig ist.
Was ist eine KI-Richtlinie und warum ist sie wichtig?
Eine KI-Richtlinie definiert klare Regeln für die Verwendung von KI im Unternehmen und hilft, rechtliche Risiken zu vermeiden. Sie ist für jedes Unternehmen – unabhängig von Größe oder Branche – notwendig.
