KI in der öffentlichen Verwaltung wirft spezifische ethische Fragen auf, die über Datenschutz und Recht hinausgehen. Vier Prinzipien stehen im Mittelpunkt:
KI-Systeme lernen aus Daten, und Daten enthalten oft historische Verzerrungen. Wenn ein Modell mit alten Daten trainiert wird, übernimmt es auch alte Vorurteile.
Beispiele für Bias in der Verwaltung:
Ein KI-gestütztes Scoring-System soll Job-Vorschläge für SGB-II-Leistungsberechtigte generieren. Die Trainingsdaten stammen aus den letzten 10 Jahren. Historisch wurden Männer mit Migrationshintergrund in der Branchenliste seltener empfohlen. Das System reproduziert das Muster: Diese Gruppe erhält systematisch schlechtere Job-Vorschläge. Würde das System so eingesetzt werden, wäre das ein klarer Fall von mittelbarer Diskriminierung nach § 3 Abs. 2 AGG — ohne dass jemand explizit danach gefragt hat.
Art. 13 AI Act verlangt von hochriskanten KI-Systemen Transparenz gegenüber Nutzern: Betroffene müssen erfahren, wie das System funktioniert und welche Daten es verarbeitet. Art. 14 AI Act ergänzt dies: Menschen müssen die Möglichkeit haben, KI-Ergebnisse zu überprüfen und zu übersteuern (menschliche Aufsicht). In der Verwaltung bedeutet das: Wenn ein KI-System eine Entscheidung vorschlägt, muss nachvollziehbar sein, warum – und ein Mensch muss widersprechen können.
Diskriminierung durch KI lässt sich nicht vollständig eliminieren, aber minimieren. Hier ist ein praktischer Rahmen für den öffentlichen Dienst:
KI-Systeme reproduzieren, was sie lernen. Wenn Trainingsdaten Ungleichheiten enthalten, verstärkt die KI diese. Die Verantwortung liegt beim Menschen – nicht beim Algorithmus. Regelmäßige Fairness-Audits und menschliche Aufsicht sind die beste Versicherung gegen Diskriminierung.
Sie nutzen täglich ein KI-System und haben das Gefühl, dass bestimmte Personengruppen systematisch schlechter abschneiden. So gehen Sie vor:
In Ihrem Team läuft seit vier Monaten ein Vorschlagssystem, das Weiterbildungsangebote für Leistungsberechtigte nach dem SGB II auswählt. Ihnen fällt auf, dass Frauen über fünfzig fast immer Kurse aus den Bereichen Reinigung und Pflege vorgeschlagen bekommen, auch dann, wenn im Profil eine abgeschlossene kaufmännische Ausbildung steht. Bei Männern derselben Altersgruppe kommen technische Angebote.
Schreiben Sie die Meldung an Ihre Teamleitung. Sie soll in etwa zehn Zeilen sagen, was Sie beobachtet haben, warum Sie es für ein Problem halten und was Sie bis zur Klärung tun. Halten Sie dabei auseinander, was Sie gesehen haben und was Sie daraus schließen.
Ihre Eingaben bleiben in diesem Browserfenster. Sie werden nicht gespeichert und nicht übertragen, ein Neuladen der Seite verwirft sie.
„seit Anfang Mai bearbeite ich Vermittlungsvorschläge mit dem neuen Vorschlagssystem. Mir ist aufgefallen, dass Frauen ab etwa fünfzig Jahren fast durchgängig Kurse aus den Bereichen Reinigung und Pflege vorgeschlagen bekommen. In sieben Fällen aus den letzten vier Wochen stand im Profil eine abgeschlossene kaufmännische Ausbildung, ein kaufmännischer Kurs wurde trotzdem nicht vorgeschlagen. Bei Männern derselben Altersgruppe habe ich das Muster nicht gesehen, dort kamen überwiegend technische Angebote.
Das sind Beobachtungen an Einzelfällen und keine Auswertung. Ich schließe daraus, dass das System aus alten Vermittlungsdaten ein Geschlechtermuster übernommen hat. Nachgewiesen ist das nicht. Dafür bräuchte es eine Auswertung aller Vorschläge, aufgeschlüsselt nach Geschlecht, Altersgruppe und Vorbildung.
Ich halte das für meldepflichtig, weil eine systematisch unterschiedliche Behandlung nach Geschlecht eine mittelbare Benachteiligung nach § 3 Abs. 2 AGG sein kann. Bis zur Klärung übersteuere ich den Vorschlag, wenn er nicht zum Profil passt, und halte das im Vermerk fest. Die sieben Fälle habe ich mit Aktenzeichen notiert und stelle sie bereit. Am System selbst ändere ich nichts.“
Ein System muss ein Merkmal nicht kennen, um danach zu unterscheiden. Das Geschlecht steht vielleicht nirgends im Datensatz. Berufsverlauf, Teilzeitzeiten und Erwerbsunterbrechungen genügen, damit dasselbe Muster entsteht.
Absicht spielt für die rechtliche Bewertung keine Rolle. § 3 Abs. 2 AGG erfasst die mittelbare Benachteiligung durch eine dem Anschein nach neutrale Regel. Dass niemand das so gewollt hat, entlastet die Behörde nicht.
Wie nutzen Sie KI in Ihrer Behörde zu diesem Thema? Teilen Sie Erfahrungen, stellen Sie Fragen — anonym oder mit E-Mail. Kommentare liegen auf eigenen Servern (DSGVO-konform).