Selbst die fortschrittlichsten KI-Systeme haben harte Grenzen. Wer diese nicht kennt, setzt sich und die Organisation unnötig Risiken aus.
Typische Anzeichen für Halluzinationen: Konkrete Paragraphennummern, die nicht existieren (z.B. "§ 12a AsylbLG"), oder vermeintliche Gerichtsentscheidungen, die fiktiv sind. Prüfen Sie immer gegen amtliche Quellen (Gesetz im Internet, beck-online, juris).
In der Verwaltung gibt es Bereiche, in denen KI ausgeschlossen oder stark eingeschränkt ist:
Ein KI-System könnte Wohngeldanträge auf Vollständigkeit prüfen und fehlende Dokumente identifizieren. Das ist zulässig. Aber: Das System darf nicht allein über den Anspruch entscheiden, weil Ermessensspielräume (z.B. bei der Angemessenheitsprüfung der Wohnung) existieren. Das letzte Wort hat immer der Mensch – und die schriftliche Begründung muss von einem Menschen stammen, damit sie bei einem Widerspruch vor Gericht standhält.
Bevor eine Behörde ein KI-System einführt, sollte eine einfache Risikoabschätzung erfolgen:
KI ist kein Allheilmittel. Sie ist ein Werkzeug – leistungsstark, aber fehleranfällig. In der Verwaltung gilt: Wenn Zweifel bestehen, ob KI eingesetzt werden darf, ist die Antwort meist "Nein" oder "Nur mit menschlicher Aufsicht". Wer die Grenzen kennt, kann KI sicher und effektiv nutzen.
Vier Anliegen landen an einem Vormittag auf Ihrem Tisch.
Ordnen Sie jedem Anliegen zu, ob KI dafür in Frage kommt, und begründen Sie jede Zuordnung mit einem Satz. Wo KI in Frage kommt, sagen Sie dazu, was ein Mensch danach zwingend prüft.
Ihre Eingaben bleiben in diesem Browserfenster. Sie werden nicht gespeichert und nicht übertragen, ein Neuladen der Seite verwirft sie.
Kommt nicht in Frage. Eine Verschlusssache gehört nicht in ein Werkzeug, über das die Behörde keine Kontrolle hat. Das gilt unabhängig davon, wie gut die Zusammenfassung wäre. Betreibt das Haus ein eigenes, freigegebenes Modell auf eigener Hardware, ist die Frage neu zu stellen. Beantworten muss sie die IT-Sicherheit und nicht die Sachbearbeitung.
Kommt in Frage. Eine Prüfung gegen eine feste Liste ist eine formale Aufgabe ohne Ermessen. Der Mensch prüft danach Stichproben und vor allem die Fehlanzeigen, weil ein übersehenes Dokument teurer ist als ein zu Unrecht angemahntes.
Kommt für die Begründung selbst nicht in Frage. Die Angemessenheit im Einzelfall ist eine Ermessensentscheidung nach § 40 VwVfG. Die Begründung muss von der Person stammen, die sie im Widerspruchsverfahren vertritt. Ein Modell darf den Aufbau ordnen und auf fehlende Punkte hinweisen. Den abwägenden Teil schreibt es nicht.
Kommt in Frage, aber nur als Hinweisgeber. Ein Modell ohne Websuche kennt eine Änderung von 2026 möglicherweise nicht und nennt trotzdem eine Zahl. Geprüft wird am Gesetzestext und nicht an der Antwort.
Anonymisierung hebt eine Einstufung nicht auf. Ein VS-NfD-Dokument bleibt eingestuft, auch wenn kein Name mehr darin steht. Über die Einstufung entscheidet die herausgebende Stelle.
Eine KI mit Zugang zum Internet ist deshalb noch nicht aktuell. Sie findet, was die Suche liefert, und greift auf ihr Trainingswissen zurück, wenn die Suche nichts Eindeutiges ergibt. Welchen der beiden Wege sie gegangen ist, sagt sie von sich aus nicht.
Wie nutzen Sie KI in Ihrer Behörde zu diesem Thema? Teilen Sie Erfahrungen, stellen Sie Fragen — anonym oder mit E-Mail. Kommentare liegen auf eigenen Servern (DSGVO-konform).