Der EU AI Act ist die erste umfassende Rechtsordnung für Künstliche Intelligenz weltweit. Verabschiedet im Mai 2024, in Kraft seit dem 1. August 2024. Die Pflichten greifen gestaffelt. Seit dem 2. Februar 2025 gelten die Verbote aus Artikel 5 und die Pflicht zur KI-Kompetenz aus Artikel 4. Seit dem 2. August 2025 gelten die Pflichten für KI-Modelle mit allgemeinem Verwendungszweck, also für die Anbieter der großen Sprachmodelle. Die Pflichten für Hochrisiko-Systeme nach Anhang III folgen am 2. August 2026. Die Verordnung soll KI-Systeme in der EU sicher und rechtskonform halten.
Kernziele:
Geltungsbereich: Der AI Act gilt für alle KI-Systeme, die in der EU eingesetzt oder auf den EU-Markt gebracht werden – auch wenn der Anbieter außerhalb der EU sitzt (z.B. OpenAI in den USA).
Der EU AI Act teilt KI-Systeme nach ihrem Risikoniveau in vier Klassen ein:
| Risikoklasse | Beispiel | Pflichten |
|---|---|---|
| Verboten | Soziale Scoring-Systeme | Verboten |
| Hochrisiko | KI bei Bewilligung von SGB-Leistungen, Rekrutierung | Strikte Dokumentation, Prüfung, menschliche Aufsicht |
| Begrenztes Risiko (Transparenzpflicht) | Chatbots, Deepfakes, Emotionserkennung | Transparenzpflicht: Nutzer müssen informiert werden, dass sie mit KI interagieren (Art. 50 AI Act) |
| Minimalrisiko | Spamfilter, Empfehlungssysteme (nicht sensibel) | Keine besonderen Pflichten, aber freiwillige Kodizes möglich |
Ein interner Chatbot für Bürgeranfragen (z.B. "Wie beantrage ich Wohngeld?") fällt in die Klasse „Begrenztes Risiko (Transparenzpflicht)" – Nutzer müssen wissen, dass sie mit einem KI-System sprechen, und es muss ein menschlicher Fallback geben. Ein KI-System zur automatisierten Bewilligung von Leistungen nach SGB II fällt in die Klasse "Hochrisiko" – umfangreiche Dokumentation, regelmäßige Prüfung und ständige menschliche Aufsicht sind Pflicht.
Stellen Sie sich diese drei Fragen zu einem geplanten KI-Einsatz in Ihrer Abteilung:
Zwei oder mehr Ja: Sprechen Sie vor dem Einsatz Ihren IT-Beauftragten und Datenschutzbeauftragten an. Eine formale Risikoklassifizierung und Dokumentation sind Pflicht.
Als öffentliche Stelle hat die Verwaltung besondere Sorgfaltspflichten:
Für Unternehmen drohen Geldbußen bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes — je nachdem, was höher ist. Für Behörden sind die Konsequenzen anders, aber nicht harmlos: Reputationsverlust, öffentliche Anfragen von Abgeordneten, Prüfung durch die Datenschutz-Aufsicht, dienst- oder disziplinarrechtliche Konsequenzen für Mitarbeitende.
Jedes KI-System, das die Behörde einsetzt, muss zunächst nach Risikoklassen eingestuft werden: Minimalrisiko, Transparenzrisiko, Hochrisiko oder Verboten. Nur so können die richtigen Pflichten (Dokumentation, Aufsicht, Transparenz) erfüllt werden.
Ihr Amt plant zwei Werkzeuge, beide auf demselben Sprachmodell.
Werkzeug A schlägt der Sachbearbeitung beim Schreiben eines Bescheids Textbausteine vor, die aus dem Vorgang abgeleitet sind. Die Sachbearbeitung übernimmt oder verwirft jeden Baustein einzeln.
Werkzeug B sortiert eingehende Anträge auf Grundsicherung nach der Wahrscheinlichkeit einer Bewilligung vor, damit aussichtsreiche Fälle zuerst bearbeitet werden.
Stufen Sie beide Werkzeuge nach dem EU AI Act ein und begründen Sie jede Einstufung mit einem Satz. Nennen Sie für das riskantere der beiden, was vor dem Produktivgang zu klären ist.
Ihre Eingaben bleiben in diesem Browserfenster. Sie werden nicht gespeichert und nicht übertragen, ein Neuladen der Seite verwirft sie.
Minimalrisiko, solange das Werkzeug Formulierungen vorschlägt und die Sachbearbeitung jeden Baustein prüft. Es trifft keine Aussage über den Anspruch und wirkt nicht auf die Rechtsposition der antragstellenden Person. Diese Einstufung gilt unter einer Bedingung. Werden die Vorschläge im Alltag ungeprüft übernommen, weil die Zeit fehlt, stimmt sie nicht mehr.
Hochrisiko. Der Schnelltest aus dem Modul greift zweimal, weil es um Leistungsansprüche und um den Zugang zu einer öffentlichen Leistung geht. Formal entscheidet das Werkzeug nichts. Eine Reihenfolge nach Erfolgsaussicht verändert aber, wer wie schnell Geld bekommt, und trifft damit genau die Menschen, deren Fall kompliziert aussieht.
Zuerst die Frage, ob eine Sortierung nach Erfolgsaussicht überhaupt das richtige Ziel ist. Danach die förmliche Risikoklassifizierung mit Dokumentation, eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO und die Festlegung der menschlichen Aufsicht. Zur Aufsicht gehört, wer die Reihenfolge übersteuern darf und ob das protokolliert wird.
Die Risikoklasse hängt am Einsatzzweck und nicht am Modell. Dasselbe Sprachmodell kann in einem Werkzeug Minimalrisiko und im nächsten Hochrisiko sein. Wer einmal „das Modell ist geprüft“ hört, hat für das nächste Werkzeug noch nichts geprüft.
Hochrisiko heißt nicht verboten. Verboten ist, was unter Art. 5 fällt, etwa Social Scoring. Hochrisiko heißt, dass Dokumentation, menschliche Aufsicht und Prüfung Pflicht sind. Der Unterschied entscheidet darüber, ob ein Vorhaben umgebaut oder eingestellt wird.
Wie nutzen Sie KI in Ihrer Behörde zu diesem Thema? Teilen Sie Erfahrungen, stellen Sie Fragen — anonym oder mit E-Mail. Kommentare liegen auf eigenen Servern (DSGVO-konform).