Ein Algorithmus ist nichts anderes als eine Schritt-für-Schritt-Anleitung zur Lösung eines Problems. Wenn Sie einen Antrag auf Wohngeld stellen, prüft ein Sachbearbeiter nach festen Regeln: Einkommen, Miete, Familienstand – das ist algorithmisch.
Der Unterschied: Ein Computer-Algorithmus macht das automatisch und skaliert es auf tausende Fälle. Das ist effizient – aber auch gefährlich, wenn die Regeln fehlerhaft oder ungerecht sind.
Ein Wohngeld-Rechner ist ein einfacher Algorithmus: Er nimmt Eingaben (Einkommen, Miete, Personen im Haushalt) und berechnet nach festen Regeln einen Betrag. Kritisch wird es, wenn der Algorithmus nicht nur rechnet, sondern auch bewertet – z.B. "Angemessenheit der Wohnung" mit Hilfe von Marktdaten.
Algorithmen sind bereits in vielen Verwaltungsprozessen verankert – oft unsichtbar:
Viele moderne KI-Algorithmen (insbesondere Deep Learning) sind Black-Box-Systeme: Sie liefern Ergebnisse, aber niemand kann genau nachvollziehen, warum sie zu einer bestimmten Entscheidung gekommen sind. In der Verwaltung ist das ein Problem – denn Begründungspflicht und Nachprüfbarkeit sind zentral.
Algorithmen sind nicht neutral. Sie spiegeln die Annahmen ihrer Entwickler und die Daten ihrer Trainingszeit wider. Typische Probleme:
Ein Jobcenter setzt ein KI-System ein, das Bewerber:innen nach Chancen auf dem Arbeitsmarkt einstuft. Die Trainingsdaten stammen aus den 2000ern. Das System bewertet Menschen mit Migrationshintergrund systematisch schlechter, weil sie in den alten Daten seltener „erfolgreich“ waren. Das ist kein bewusster Rassismus – das System hat das Muster gelernt und reproduziert es nun automatisch.
Wie können Algorithmen so gestaltet werden, dass sie fair, transparent und überprüfbar sind? Die EU Trustworthy AI Guidelines und der EU AI Act geben hier Orientierung:
Algorithmen sind keine neutralen Werkzeuge – sie spiegeln Annahmen, Daten und Machtverhältnisse wider. Vertrauenswürdige Algorithmen brauchen Transparenz, Fairness-Audits und menschliche Aufsicht. Der EU AI Act verlangt genau das für hochriskante Systeme.
Als Mitarbeitende im öffentlichen Dienst können Sie bei jedem neuen KI-System diese Fragen stellen:
Anbieter hochriskanter KI-Systeme müssen nach Art. 13 EU AI Act sicherstellen, dass ihr System so transparent ist, dass Betreiber die Ausgaben angemessen interpretieren und nutzen können. Das bedeutet: Nicht nur Techniker, sondern auch Sachbearbeiter:innen müssen die Entscheidungsgrundlagen verstehen und dokumentieren können.
Ein Fachbereich will einen Vorschlagsalgorithmus für Maßnahmen der beruflichen Weiterbildung einführen. Der Anbieter versichert schriftlich, das System bekomme keine Angaben zu Geschlecht, Herkunft oder Staatsangehörigkeit. Sie sollen die Fairness-Prüfung entwerfen, mit der das System vor dem Produktivgang und danach laufend kontrolliert wird.
Beschreiben Sie die Prüfung. Sagen Sie, was verglichen wird, gegen welchen Maßstab, wie oft, und was geschieht, wenn die Prüfung anschlägt. Nennen Sie mindestens zwei Merkmale, die das System trotz der Zusicherung indirekt aufnehmen könnte.
Ihre Eingaben bleiben in diesem Browserfenster. Sie werden nicht gespeichert und nicht übertragen, ein Neuladen der Seite verwirft sie.
Für jeden Vorschlagstyp wird die Zuweisungsquote nach Gruppen aufgeschlüsselt, also nach Geschlecht, Altersgruppe, Wohnbezirk, Bildungsabschluss und Dauer des Leistungsbezugs. Diese Merkmale liegen der Behörde vor, auch wenn das System sie nicht bekommt. Genau deshalb kann die Behörde prüfen, was der Anbieter nicht prüfen kann.
Verglichen wird die Verteilung der Vorschläge zwischen Gruppen mit vergleichbarem Profil. Auffällig wird eine Gruppe, wenn sie einen Vorschlagstyp deutlich seltener oder häufiger erhält als die Vergleichsgruppe mit ähnlicher Qualifikation und ähnlichem Erwerbsverlauf. Eine Abweichung ist ein Prüfanlass und noch kein Beweis, denn sie kann auch aus dem tatsächlich verfügbaren Kursangebot stammen.
Einmal vor dem Produktivgang an historischen Fällen, danach vierteljährlich, zusätzlich nach jeder Modellaktualisierung durch den Anbieter. Der letzte Anlass wird gern vergessen, dabei ändert ein Update das Verhalten des Systems stärker als ein Quartal Betrieb.
Schlägt die Prüfung an, geht die Auffälligkeit mit den Zahlen an die verantwortliche Stelle und an die Datenschutzbeauftragte. Bis zur Klärung prüft die Sachbearbeitung die betroffenen Vorschlagstypen einzeln, statt sie zu übernehmen. Abgeschaltet wird das System, wenn sich die Abweichung innerhalb einer vorher festgelegten Frist nicht erklären lässt.
Wohnbezirk und Postleitzahl wirken als Näherungswert für soziale Lage und Herkunft. Erwerbsunterbrechungen und Teilzeitzeiten wirken als Näherungswert für Betreuungsarbeit und damit häufig für das Geschlecht. Dazu kommen im Ausland erworbene Abschlüsse, das Jahr des Schulabschlusses als Näherung für das Alter und die Teilnahme an Sprachkursen.
Ein Merkmal wegzulassen macht ein System nicht fair. Die Information steckt in anderen Feldern weiter drin, und die Behörde verliert dazu noch die Möglichkeit, den Unterschied überhaupt zu messen.
Gleiche Behandlung und gleiches Ergebnis sind zwei verschiedene Maßstäbe. Ein System kann alle Profile nach denselben Regeln behandeln und eine Gruppe trotzdem systematisch schlechter stellen, weil die Regeln aus einer Zeit stammen, in der diese Gruppe seltener vermittelt wurde. Welcher Maßstab gilt, wird vor der Prüfung festgelegt und nicht danach.
Wie nutzen Sie KI in Ihrer Behörde zu diesem Thema? Teilen Sie Erfahrungen, stellen Sie Fragen — anonym oder mit E-Mail. Kommentare liegen auf eigenen Servern (DSGVO-konform).