Mit dem AI Act (Verordnung (EU) 2024/1689) hat die Europäische Union den weltweit ersten umfassenden Rechtsrahmen für Künstliche Intelligenz geschaffen. Seit dem Sommer 2024 gelten schrittweise neue Regeln, die sicherstellen sollen, dass KI-Systeme Chancen eröffnen, ohne gleichzeitig fundamentale Rechte und Freiheiten zu gefährden.
Ein zentrales Element dieser Verordnung ist Artikel 5, der bestimmte Anwendungen von KI-Systemen schlicht verbietet. Sie gelten als unannehmbares Risiko für Menschen, Gesellschaft und Demokratie und sind damit in der gesamten EU nicht zulässig. In diesem Beitrag wird näher erläutert, welche Praktiken betroffen sind, warum sie problematisch sind und welche Folgen sich daraus ergeben.
Manipulative oder täuschende KI-Systeme
Artikel 5 untersagt ausdrücklich den Einsatz von KI-Systemen, die absichtlich manipulative oder täuschende Techniken nutzen, um Menschen zu schädlichen Entscheidungen zu bewegen. Es geht hier nicht um klassische Werbung oder Nudging im Sinne von leichter Beeinflussung, sondern um Situationen, in denen ein KI-System so auf das Verhalten von Personen einwirkt, dass diese gegen ihr eigenes Interesse handeln und erheblicher Schaden entsteht.
Beispiel: Eine Gesundheits-App, die gezielt psychologisch auf Nutzerinnen und Nutzer einwirkt, um sie zu riskanten Diäten oder Medikamentenkäufen zu verleiten. Solche Systeme würden nicht nur individuelle Risiken erzeugen, sondern auch das Vertrauen in digitale Gesundheitsdienste untergraben.
Ausnutzung von Schwachstellen bestimmter Gruppen
Besonders schutzbedürftig sind Menschen, die aufgrund von Alter, Krankheit, Behinderung oder sozialer Lage leichter zu beeinflussen sind. KI-Systeme, die genau diese Schwachstellen gezielt ausnutzen, um Verhalten zu steuern, sind verboten.
Beispiel: Spiele-Apps, die speziell auf Kinder zugeschnittene Belohnungssysteme einsetzen, um sie zu wiederholten In-App-Käufen zu bewegen. Hier wird die mangelnde Erfahrung und die besondere Anfälligkeit einer Altersgruppe ausgenutzt, um wirtschaftlichen Gewinn zu erzielen.
Soziales Scoring
In China gibt es bereits Systeme, die Bürgerinnen und Bürger über ihr Verhalten bewerten und daraus gesellschaftliche Privilegien oder Nachteile ableiten. Die EU lehnt ein solches Modell kategorisch ab.
Soziales Scoring durch KI ist verboten, wenn Bewertungen dazu führen, dass Menschen ungerechtfertigt oder unverhältnismäßig benachteiligt werden – etwa beim Zugang zu Krediten, Arbeitsplätzen oder öffentlichen Dienstleistungen.
Beispiel: Ein KI-gestütztes System, das Bürger anhand ihres Zahlungsverhaltens, ihres Freundeskreises oder ihres Online-Verhaltens in Kategorien einordnet und dadurch Chancen im Alltag beeinflusst.
Vorhersage von Straftaten durch Profiling
Science-Fiction-Filme wie „Minority Report“ haben das Szenario populär gemacht: Kriminalität wird vorhergesagt, bevor sie geschieht. Der AI Act schiebt solchen Szenarien in Europa einen Riegel vor.
KI-Systeme, die ausschließlich auf Profiling basieren, dürfen nicht genutzt werden, um vorherzusagen, ob eine Person eine Straftat begehen könnte. Der Grund: Solche Systeme sind weder objektiv noch überprüfbar und bergen die Gefahr massiver Diskriminierung.
Beispiel: Eine Polizei-Software, die Menschen aufgrund ihres Wohnorts oder Berufsprofils als „potenziell gefährlich“ einstuft, ohne konkrete Beweise.
Erstellung von Gesichtserkennungsdatenbanken durch Massen-Scraping
Ein weiteres Verbot betrifft die Praxis, Millionen von Gesichtern aus dem Internet oder von Überwachungskameras zu sammeln, um daraus umfassende Gesichtserkennungsdatenbanken zu erstellen.
Hintergrund: Unternehmen wie Clearview AI haben genau das getan und Datenbanken aufgebaut, die für Strafverfolgungs- oder Überwachungszwecke genutzt werden könnten. Die EU betrachtet diese Praxis als inakzeptabel, da sie massiv in das Grundrecht auf Datenschutz und Privatsphäre eingreift.
Emotionserkennung in Arbeits- und Bildungskontexten
Besonders heikel ist die Nutzung von KI zur Analyse von Emotionen. Der AI Act verbietet ausdrücklich Systeme, die Emotionen von Personen im Arbeitsumfeld oder in Schulen und Hochschulen auswerten.
Die Sorge: Solche Systeme könnten zur ständigen Überwachung von Aufmerksamkeit, Motivation oder Belastbarkeit führen. Das Ergebnis wären nicht nur Verletzungen der Privatsphäre, sondern auch erhebliche psychologische Belastungen.
Ausnahme: Wenn Emotionserkennung aus medizinischen Gründen oder zur Sicherheit zwingend erforderlich ist, kann sie erlaubt sein.
Biometrische Kategorisierung
Schließlich sind auch KI-Systeme untersagt, die biometrische Daten nutzen, um Menschen nach Kategorien wie ethnische Herkunft, Religion, politische Einstellung oder sexuelle Orientierung einzuordnen.
Ein solches Vorgehen verstößt unmittelbar gegen die Grundrechte und kann diskriminierende Praktiken verstärken.
Beispiel: Ein KI-gestütztes Kamerasystem in einem Einkaufszentrum, das Besucherinnen und Besucher anhand von Gesichtsmerkmalen in vermeintlich „kaufkräftige“ und „weniger kaufkräftige“ Gruppen einteilt.
Warum diese Verbote notwendig sind
Die EU hat sich bewusst für eine harte Linie entschieden. Denn diese Praktiken gefährden nicht nur einzelne Personen, sondern das Vertrauen in KI insgesamt.
Würden manipulative, diskriminierende oder überwachungsorientierte Anwendungen zugelassen, könnte das zu einer breiten gesellschaftlichen Ablehnung von KI führen. Statt Chancen in Bereichen wie Medizin, Mobilität oder Bildung zu nutzen, würde die Technologie primär mit Gefahren und Missbrauch in Verbindung gebracht.
Mit Artikel 5 schafft die EU daher ein klares Fundament: KI darf innovativ und leistungsfähig sein, aber niemals Grundrechte verletzen.
Folgen für Unternehmen
Für Anbieter bedeutet dies: Bereits in der Planungs- und Entwicklungsphase muss geprüft werden, ob ein System in eine der verbotenen Kategorien fällt. Verstöße können drastische Konsequenzen haben.
Die KI-Verordnung sieht Geldbußen von bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes vor – je nachdem, welcher Betrag höher ist. Noch gravierender: Systeme, die unter Artikel 5 fallen, dürfen in der EU überhaupt nicht auf den Markt gebracht werden.
Damit zwingt die EU Unternehmen, ethische Leitplanken von Anfang an mitzudenken. Wer auf diese Weise frühzeitig compliant entwickelt, vermeidet nicht nur rechtliche Risiken, sondern schafft auch Vertrauen bei Kunden und Nutzern.
Praktische Compliance-Schritte für Unternehmen
Damit Unternehmen sicherstellen können, nicht versehentlich in verbotene Bereiche vorzudringen, empfiehlt sich ein systematisches Vorgehen:
- Frühzeitige RisikoanalyseBereits in der Konzeptionsphase sollte geprüft werden, ob eine geplante Anwendung in eine der in Artikel 5 aufgeführten Kategorien fallen könnte.
- Interdisziplinäre Teams einbindenNicht nur Entwickler, sondern auch Juristen, Ethikexperten und Fachabteilungen sollten in die Prüfung einbezogen werden.
- Dokumentation der SystemfunktionenEine klare Beschreibung der Funktionsweise, Datengrundlagen und Ziele hilft, mögliche Risiken transparent zu machen und später nachzuweisen, dass das System nicht in den verbotenen Bereich fällt.
- Externe Gutachten oder AuditsGerade bei sensiblen Anwendungen kann es sinnvoll sein, externe Prüfungen einzuholen, um rechtliche Risiken frühzeitig zu erkennen.
- Schulung und SensibilisierungMitarbeiterinnen und Mitarbeiter, die an der Entwicklung oder dem Einsatz beteiligt sind, sollten mit den Anforderungen des AI Act vertraut gemacht werden.
- Frühe Kommunikation mit AufsichtsbehördenWer unsicher ist, ob ein System unter die Verbote fällt, kann frühzeitig den Kontakt zu zuständigen Behörden suchen, um Klarheit zu schaffen.
Fazit
Der AI Act markiert mit Artikel 5 eine rote Linie: Es gibt KI-Anwendungen, die in Europa schlicht keinen Platz haben. Manipulation, Diskriminierung, Überwachung und das Ausnutzen von Schwachstellen sind nicht mit den Grundrechten vereinbar, die in der EU gelten.
Für Unternehmen bedeutet das eine klare Verpflichtung: Sie müssen bereits in der Entwicklungsphase prüfen, ob ihre Systeme mit diesen Grundsätzen vereinbar sind. Gleichzeitig bietet die klare Abgrenzung auch einen Vorteil: Wer compliant arbeitet, kann mit größerem Vertrauen von Kunden, Partnern und Aufsichtsbehörden rechnen.
Innovation bleibt erlaubt und gewollt – aber nur im Einklang mit Sicherheit, Transparenz und den Grundrechten der Menschen.