Aktuelles zum AI Act: Überblick über die wichtigsten Inhalte für Betreiber:innen von KI-Systemen

Zuletzt überarbeitet und aktualisiert: 20. Jänner 2025
Am 1. August 2024 ist der AI Act in Kraft getreten. Der AI Act verfolgt insbesondere das Ziel, die Einführung vertrauenswürdiger künstlicher Intelligenz zu fördern, während gleichzeitig ein hohes Schutzniveau für Gesundheit, Sicherheit und Grundrechte sichergestellt wird.

Im Folgenden geben wir einen Überblick über die wesentlichsten Punkte, die Unternehmen zu beachten haben. Dabei soll der Fokus vor allem auf jene breite Gruppe an Unternehmen gelegt werden, die im Rahmen ihrer Tätigkeit KI-Systeme nur einsetzen, aber nicht selbst entwickeln:

1. Welche Unternehmen fallen in den Anwendungsbereich des AI-Act?

Der AI-Act gilt für sämtliche Marktteilnehmer, die an der Entwicklung, dem Einsatz und der Nutzung von Systemen der künstlichen Intelligenz („KI-Systemen“) in der EU beteiligt sind. Erfasst sind dabei neben Hersteller:innen, Einführer:innen, Händler:innen und Anbietererinnen insbesondere auch die Betreiber:innen* von KI-Systemen sowie die betroffenen Personen.

Unter den Begriff des Betreibers bzw. der Betreiberin fallen nicht nur Unternehmen aus der EU, sondern auch aus Drittstaaten, wenn das vom KI-System hervorgebrachte Ergebnis in der EU verwendet werden soll.

Der Anwendungsbereich des AI-Acts ist derart weit formuliert, dass praktisch alle Unternehmen in der Wertschöpfungskette betroffen sind. Der AI-Act beschränkt sich auch nicht nur auf in der EU-ansässige Unternehmen, sondern es können auch Marktteilnehmer:innen aus Drittstaaten in den Anwendungsbereich fallen. Dies gilt insbesondere für Betreiber:innen von KI-Systemen.

2. Was versteht man unter einem KI-System?

Ein KI-System wird vom AI-Act wie folgt definiert:

„An AI system is a machine-based system designed to operate with varying levels of autonomy and that may exhibit adaptiveness after deployment and that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments.”

Im Kern sind daher Systeme erfasst, die mit unterschiedlichem Grad an Autonomie operieren, nach deren Einführung lernfähig sein können und durch Schlussfolgerungen bestimmte Ergebnisse hervorbringen, die das physische oder virtuelle Umfeld beeinflussen können. Um diese breite Definition zu konkretisieren, sieht der AI-Act in den Erwägungsgründen noch zusätzlich Erläuterungen vor. Maßgeblich ist insbesondere Erwägungsgrund 6 der weitere Begriffsauslegungen (ua. zu „machine-based“, „varying level of autonomy“, etc.) enthält.

Zwar orientiert sich die Definition von KI-Systemen – wenn auch nicht deckungsgleich – an der international anerkannten OECD-Definition, Abgrenzungsfragen sind dadurch aber nicht ausgeschlossen.

3. Gibt es Einsatzbereiche von KI, die vom AI Act ausgenommen sind?

Der AI-Act gilt nicht

• für KI, die ausschließlich im Bereich der Forschung entwickelt und eingesetzt wird,
• für den Einsatz von KI durch Personen für reine private Zwecke (zB. private Nutzung von ChatGPT)
• für bestimmte freie und quelloffene Lizenzen („Open Source KI“).

Darüber hinaus lässt der AI Act in bestimmten Bereichen den Mitgliedstaaten weiterhin einen Spielraum offen. In diesem Sinne werden vom AI Act auch KI-Systeme in den Einsatzgebieten wie nationale Sicherheit und Militär ausgenommen, weil diese außerhalb des EU-Rechts liegen und um die diesbezüglichen Kompetenzen der Mitgliedstaaten nicht zu berühren.

In Bezug auf die Verwendung von KI-Systemen durch Arbeitgeber:innen, sieht der AI-Act vor, dass die Mitgliedstaaten sowie die EU, auch Rechts- oder Verwaltungsvorschriften beibehalten oder einführen können, die für die Arbeitnehmer:innen im Hinblick auf den Schutz ihrer Rechte vorteilhafter als der AI-Act sind.

Ausnahmen vom Anwendungsbereich bestehen nur sehr eingeschränkt und sind für die meisten Unternehmen grundsätzlich nicht relevant (zB. militärischer Bereich). Für den Mitarbeiterbereich können durch nationale Rechtsvorschriften zusätzliche Regulierungen geschaffen werden.

4. Wie ist der AI-Act aufgebaut und wie werden KI-Systeme vom AI-Act reguliert?

Der AI-Act sieht einen Katalog an unzulässigen und damit verbotenen KI-Praktiken vor sowie knüpft die zu erfüllenden Pflichten insbesondere daran an, welches Risiko mit einem KI-System verbunden ist. Die in der Praxis bedeutendste Frage ist, ob mit einem KI-System ein High-Risk verbunden ist oder nicht.

Es gelten nicht für alle KI-Systeme die gleichen Regeln, sondern diese sind vom damit verbundenen Risiko abhängig.

5. Welche KI-Systeme sind verboten?

KI-Systeme, die besonders eingriffsintensiv in Grundrechte sind und daher mit einem inakzeptablen Risiko verbunden sind, werden gänzlich untersagt. Dazu gehören etwa KI-Systeme, die in folgende Bereiche einzuordnen sind:

• Kognitive Verhaltensmanipulation bzw. das Ausnutzen von Schwächen einzelner Personen (zB. aufgrund deren Alters)
• Biometrische Kategorisierung zur Ermittlung sensibler Daten wie sexuelle Orientierung oder Religion
• Social Scoring
• Ungezielte Erfassung von Gesichtsbildern aus dem Internet oder aus Videoüberwachungsanlagen
• Erkennung von Emotionen am Arbeitsplatz und in Bildungseinrichtungen

Die verbotenen Praktiken betreffen spezielle Bereiche. Üblicherweise setzen Unternehmen solche Praktiken nicht ein.

6. Welche KI-Systeme sind als High-Risk Systeme einzustufen?

Für KI-Systeme, die mit einem hohen Risiko (dh. mit erheblich drohenden Gefahren etwa für die Grundrechte) verbunden sind, gelten eine Reihe an Verpflichtungen. Ob ein KI-System als High-Risk System einzustufen ist, bedarf einer detaillierten Analyse im Einzelfall.

Überblicksmäßig liegt ein High-Risk System vor, wenn ein KI-System:

• als Sicherheitskomponente für ein Produkt verwendet wird, das unter die in Anhang II aufgelisteten Harmonisierungsrechtsvorschriften der EU fällt oder selbst ein solches Produkt ist, oder
• in einen Bereich fällt, der in Annex III aufgelistet ist. Dazu zählen beispielsweise:
  • Biometrische Identifizierung sowie Kategorisierung: Darunter fallen etwa KI-Systeme, die zur Erkennung von Emotionen eingesetzt werden.
  • Kritische Infrastrukturen: Erfasst sind KI-Systeme, die bestimmungsgemäß als Sicherheitskomponenten in der Verwaltung und dem Betrieb kritischer digitaler Infrastruktur, dem Straßenverkehr oder der Wasser-, Gas-, Wärme- und Stromversorgung verwendet werden.
  • Allgemeine und berufliche Bildung: Dies betrifft etwa KI-Systeme, wenn diese für Entscheidungen über den Zugang natürlicher Personen zu Einrichtungen der allgemeinen oder beruflichen Bildung verwendet werden.
  • Beschäftigung und Personalmanagement: Beispielsweise sind KI-Systeme erfasst, wenn diese für die Analyse und Filterung sowie der Bewertung von Bewerber:innen eingesetzt werden.
  • Bestimmte grundlegende private und öffentliche Dienste und Leistungen: Hierunter fallen etwa KI-Systeme, die zur Prüfung der Kreditwürdigkeit verwendet werden.

Auch wenn ein KI-System unter Annex III fällt, kann dieses aber dann von der High-Risk Klassifizierung ausgenommen werden, wenn kein erhebliches Risiko einer Schädigung der Gesundheit, Sicherheit oder Grundrechte von natürlichen Personen vorliegt und es auch keinen wesentlichen Einfluss auf Entscheidungsprozesse hat (zB. das KI-System dient nur eine vom Menschen zuvor durchgeführte Tätigkeit zu verbessern oder ist nur dazu bestimmt, eine eng begrenzte verfahrenstechnische Aufgabe zu erfüllen). Ob eine solche Ausnahme vorliegt, ist vom Unternehmen selbst zu beurteilen und zu dokumentieren.

In der Praxis wird die für Unternehmen und insbesondere Anwender:innen bedeutendste Abgrenzungsfrage sein, ob ein KI-System in die Kategorie “High-Risk” einzuordnen ist oder nicht. Dies bedarf einer genauen Prüfung. Besondere Sorgfalt bedarf es, wenn eine Ausnahme für ein KI-System, das unter Annex III fällt, zu beurteilen ist.

7. Welche Regelungen gelten für Betreiber:innen von High-Risk Systemen?

Unternehmen, die High-Risk Systeme als Betreiber einsetzen, haben auf die Einhaltung eines weiten Pflichtenkatalogs zu achten. Zu diesen Pflichten gehören insbesondere:

• das Treffen von angemessenen technischen und organisatorischen Maßnahmen, um sicherzustellen, dass das KI-System in Übereinstimmung mit der Gebrauchsanweisung verwendet wird
• die menschliche Aufsicht durch natürliche Personen, die insbesondere über die erforderliche Kompetenz und Befugnisse zu verfügen haben
• die Sicherstellung, dass Eingabedaten im Hinblick auf den Zweck des KI-Systems relevant und ausreichend repräsentativ sind
• die laufende Überwachung nach Maßgabe der Gebrauchsanweisung und Sicherstellung der Außerbetriebnahme im Fall der begründeten Annahme, dass die Anwendung zu einem unverhältnismäßigen Risiko für Gesundheit, Sicherheit und Grundrechte führt sowie die Wahrnehmung von Informations- und Meldepflichten, wenn schwerwiegende Vorfälle festgestellt werden
• das Einhalten von Dokumentationspflichten, insbesondere Speicherung von automatisch erzeugten Protokollen für mindestens sechs Monate
• die vorangehende Information an Arbeitnehmer:innen und Arbeitnehmervertretern, wenn ein High-Risk System am Arbeitsplatz eingesetzt wird

Wenn ein High-Risk System von staatlichen Einrichtungen oder privaten Akteur:innen, die staatliche Aufgaben erfüllen, eingesetzt werden, ist ein sog. „fundamental rights impact assessment“ durchzuführen. Darunter ist eine Folgenabschätzung in Bezug auf die Grundrechte zu verstehen.

Da Betreiber:innen von High-Risk Systemen weitreichende Pflichten zu erfüllen haben, sollte mit entsprechenden Maßnahmen zur ordnungsgemäßen Einhaltung der Vorschriften frühzeitig begonnen werden.

8. Welche Regelungen gelten für Betreiber:innen von Systemen, die nicht als High-Risk zu qualifizieren sind?

Wenn von einem KI-System kein High-Risk ausgeht, gelten grundsätzlich Transparenzvorschriften. Wird etwa ein Bild, Video oder Audioinhalt, von einer KI erstellt oder verändert, muss dieser Umstand offengelegt werden. Dies gilt auch, wenn eine KI einen Text erstellt oder verändert, der zum Zweck der öffentlichen Information verbreitet wird.

Nur wenn ein High-Risk KI-System vorliegt, findet der breite Pflichtenkatalog Anwendung. In anderen Fällen können aber zB. Transparenzvorschriften gelten.

9. Enthält der AI-Act Regelungen über die Implementierung von KI Know-How im Unternehmen?

Damit in Unternehmen entsprechendes Bewusstsein und Know-How über KI-Systeme vorhanden ist, müssen Anbieter:innen und Betreiber:innen von KI-Systemen entsprechende Maßnahmen ergreifen, um sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen.

Unabhängig davon, ob ein High-Risk KI System vorliegt, haben Betreiber:innen entsprechendes KI Know-How im Unternehmen sicherzustellen.

10. Mit welchen Strafen ist bei Nichteinhaltung zu rechnen?

Die Nichteinhaltung kann zu Geldstrafen führen, die je nach Verstoß und Unternehmensgröße variieren. Bei Verstößen gegen verbotene KI-Systeme drohen bis zu 35 Millionen Euro oder 7 % des weltweiten Umsatzes. Sonstige Verstöße gegen Verpflichtungen aus dem AI-Act können mit bis zu 15 Millionen Euro und 3% des weltweiten Umsatzes bestraft werden. Wird von einem Unternehmen eine falsche Information erteilt, kann dies mit 7,5 Millionen Euro oder 1,5 % des Umsatzes geahndet werden.

Verstöße gegen den AI Act können mit erheblichen Strafen geahndet werden, die bis zu 35 Millionen Euro oder 7 % des weltweiten Umsatzes reichen können. Angesichts der zahlreichen unklaren Gesetzesbegriffe wird das eine erhebliche Herausforderung für Unternehmen darstellen.

11. Ab wann sind die Regelung des AI Act einzuhalten?

Während der überwiegende Teil der Vorschriften nach 24 Monaten ab Inkrafttreten (d.h. ab 2. August 2026) einzuhalten ist, besteht für bestimmte Teilbereiche des AI-Acts ein abweichender Anwendungszeitpunkt. Demnach haben die Unternehmen etwa das Verbot bestimmter KI-Systeme bereits nach 6 Monaten zu befolgen (d.h. ab 2. Februar 2025) bzw. gelten die Regelungen über die Klassifizierung von High-Risk KI-Systemen und die damit verbundenen Pflichten nach 36 Monaten (d.h. ab 2. August 2027).

Die Bestimmungen des AI Acts treten somit schrittweise über einen Zeitraum von drei Jahren in Kraft.

12. Was sollten Unternehmen in Bezug auf die Einhaltung des AI-Act beachten?

• Betreiber:innen sollten ermitteln, in welche Risikoklasse ein derzeit verwendetes bzw. für den Einsatz geplantes KI-System fällt und die Erfordernisse für die ordnungsgemäße Nutzung ableiten.
• Bei der Entwicklung von KI-Systemen sollte eine (strategische) Planung von Projekten erfolgen, um sicherzustellen, dass die KI-Systeme den gesetzlichen Vorschriften entsprechen.