Vor kurzem haben die Vereinigten Arabischen Emirate bekannt gegeben, innerhalb der nächsten zwei Jahre die Hälfte ihrer staatlichen Verwaltungsdienstleistungen auf künstliche Intelligenz (KI) mit eigenständiger Entscheidungsfähigkeit umzustellen. Im Rahmen dieses Vorhabens soll die KI als sogenannter „ausführender Partner“ fungieren, der ohne menschliches Zutun „in Echtzeit analysiert, entscheidet, durchführt und verbessert“. Nachdem wir unsere bisherige berufliche Laufbahn an der Schnittstelle von Unternehmertum, Forschung und Digitalpolitik verbracht haben, sind wir in der Lage, diesen Plan getrost als unverantwortlich zu bezeichnen. Und da sich die VAE als globales digitales Vorbild präsentieren, werden andere Regierungen den Druck verspüren, diesem Beispiel zu folgen.

Diese Gefahr darf nicht ignoriert werden. Wir wissen bereits, was passiert, wenn Regierungen Entscheidungsbefugnisse an Algorithmen delegieren. Im Jahr 2021 bezichtigte ein selbstlernendes System in den Niederlanden rund 35 000 Familien fälschlicherweise des Betrugs bei der Kinderbeihilfe. Eltern wurden zur Rückzahlung von zehntausenden Euro aufgefordert, obwohl die Leistungen zu Recht bezogen worden waren. Familien verloren ihr Zuhause und mehr als 2 000 Kinder wurden in staatliche Obhut genommen.

Tatsächlich war dieses Szenario bereits in die Konzeption des Systems eingearbeitet worden. Doppelte Staatsbürgerschaft und fremdländisch klingende Namen wurden als Risikofaktoren markiert, wodurch illegale Diskriminierung zum festen Bestandteil des Modells gemacht wurde. Die Folge war ein nationaler Skandal, der letztendlich zum Rücktritt der Regierung des damaligen Ministerpräsidenten Mark Rutte führte.

Ähnliches geschah in Australien. Zwischen 2015 und 2019 verfolgte das Robodebt-Programm 433 000 Sozialhilfeempfänger wegen angeblich unrechtmäßig bezogener Leistungen in Höhe von 1,7 Milliarden AUD (etwa einer Milliarde Euro). Der Schaden war immens: Mütter berichteten von Söhnen, die sich nach Erhalt von Zahlungsaufforderungen, gegen die keine Handhabe bestand, das Leben genommen hatten. Eine königliche Untersuchungskommission stellte später fest, dass das Programm „weder fair noch rechtmäßig“ gewesen sei.

In den Vereinigten Staaten ersetzte man in Arkansas und Idaho unterdessen Pflegekräfte durch Algorithmen, um die Anspruchsberechtigung und den Umfang der notwendigen häuslichen Pflege zu bewerten. Für Menschen mit Zerebralparese, Tetraplegie und Multipler Sklerose wurde die Pflege über Nacht um 20 bis 50 Prozent gekürzt. Gerichte ordneten schließlich an, den Einsatz dieser Systeme einzustellen, doch der Schaden war bereits angerichtet. Einige Patienten standen ohne angemessene Unterstützung da, wodurch vermeidbare medizinische Komplikationen entstanden.

In jedem dieser Fälle ging es um ein einziges System innerhalb einer einzigen Behörde. Man stelle sich nun vor, solche Systeme würden die Hälfte aller staatlichen Leistungen abwickeln, wie es der Plan der VAE vorsieht.

Man denke beispielsweise an eine alleinerziehende Mutter, deren Kinderbetreuungsgeld eingefroren wird, nachdem ein KI-Agent ihre Bankaktivitäten als verdächtig markiert hat. Sie muss sich daraufhin durch ein Beschwerdeverfahren kämpfen, das sie ohne menschlichen Ansprechpartner von einem automatisierten System zum nächsten schickt – und das just zu dem Zeitpunkt, an dem die Miete fällig wird. Was ist mit einem Arbeitsmigranten, dessen Aufenthaltsverlängerung abgelehnt wird, weil das System die Unterlagen seines Arbeitgebers nicht auswerten kann – wodurch er praktisch zu einem Undokumentierten wird. Was ist mit einer älteren Witwe, die keine Rente mehr erhält, weil zwei Datenbanken widersprüchliche Angaben enthalten und sie die Benutzeroberfläche nicht versteht?

Das sind keine hypothetischen Fälle. Es handelt sich vielmehr um dokumentierte Muster, die durch agentische KI in einer Weise verstärkt werden, die kein Schulungsprogramm innerhalb des zweijährigen Zeitrahmens der VAE bewältigen kann.  Drei zentrale Risiken stechen hervor. Da ist zunächst einmal die Größenordnung: Macht ein Sachbearbeiter einen Fehler, leidet eine Person. Begeht ein KI-Agent einen Fehler, können tausende Menschen betroffen sein, bevor es überhaupt jemand bemerkt.

Hinzu kommt die Undurchsichtigkeit der KI-Entscheidungsfindung. Da agentische Systeme Entscheidungen nacheinander treffen, wobei jeder Schritt auf dem vorherigen aufbaut, ist der kausale Zusammenhang praktisch verloren, wenn der Schaden sichtbar wird. Das algorithmische Gesundheitsleistungssystem in Arkansas bietet hierfür ein eklatantes Beispiel. Niemand – nicht einmal seine Entwickler – konnte vollständig erklären, wie das System funktionierte, woraufhin ein Bundesgericht es als „völlig irrational“ bezeichnete. Darüber hinaus kann mangelnde Transparenz auch durch Geschäftsgeheimnisse oder den Algorithmen zugrunde liegende proprietäre Frameworks eingebaut sein.

Schließlich kehren KI-Systeme die Beweislast um und zwingen die Bürgerinnen und Bürger, ihre Unschuld zu beweisen, anstatt vom Staat eine Rechtfertigung seiner Vorgehensweise zu verlangen. Wie der Skandal um die Kinderbeihilfen in den Niederlanden und das Robodebt-Programm in Australien gezeigt haben, sind genau die Menschen am stärksten betroffen, die am wenigsten in der Lage sind, vom Staat Rechenschaft zu verlangen – Menschen mit eingeschränkten zeitlichen und finanziellen Ressourcen, geringen Sprachkenntnissen und begrenztem Zugang zu rechtlicher Unterstützung.

Die VAE behaupten, das Leitprinzip ihres KI-Programms sei „der Mensch zuerst“. Doch die Ausgestaltung des Systems lässt etwas anderes vermuten. Eine Regierung, die Ministerien nach „Geschwindigkeit der Einführung“ und „Beherrschung der KI“ bewertet, verfolgt kein sinnvolles Ziel, sondern kopiert dieselbe Effizienzlogik, die weltweit bereits erheblichen Schaden angerichtet hat.

Die Geschwindigkeit der Einführung ist eine Kennzahl der Anbieterseite. Die Kernaufgabe einer Regierung besteht jedoch in der Sorgepflicht, die auf menschlichem Urteilsvermögen beruht. Dies entspricht den Erwartungen der Bürger: Eine Regierung muss rechenschaftspflichtig und transparent agieren und Entscheidungen erläutern, die  Rechte und Freiheiten der Menschen betreffen. Wenn Regierungen im Namen der Effizienz voll Begeisterung auf autonome Entscheidungsfindung setzen, verweigern sie damit praktisch diese Rechenschaftspflicht.

Mit jedem Skandal der letzten Jahre im Zusammenhang mit Algorithmen wurden dieselben grundlegenden Fragen aufgeworfen: Wer trägt die Verantwortung, und wer hat die Entscheidung getroffen? In einem von agentischer KI geführten Staat gibt es auf diese Fragen keine klaren Antworten mehr. Das System entscheidet, aktualisiert sich selbst und macht weiter, sodass den Bürgerinnen und Bürgern keine Handhabe bleibt, wenn etwas schiefgeht.

Mit dem Aufstieg der KI schwindet die demokratische Rechenschaftspflicht nicht durch offene Machtübernahme, sondern durch eine Reihe von Beschaffungsentscheidungen, die nach und nach die menschliche Kontrolle aushebeln. Aufgrund der Schwächung des ohnehin schon gefährlich schwindenden Vertrauens in Institutionen dienen diese Systeme letztlich den Interessen der Tech-Giganten, die die KI-Revolution vorantreiben.

Doch so muss es nicht sein. Die VAE verfügen über die erforderlichen Ressourcen, Fachkräfte und die politische Stabilität, um eine wirklich menschenzentrierte digitale Regierung aufzubauen. Diese könnte weltweit Maßstäbe setzen, wenn sie menschliche Entscheidungen ergänzt, anstatt sie zu ersetzen.

Die Kosten eines Fehlschlags würden sich nicht auf die VAE beschränken. Sie würden etwa eine alleinerziehende Mutter in einem anderen Land treffen, deren Sozialleistungen von einem Algorithmus gekürzt werden, den sie nicht einmal kennt – ebenso wie unzählige andere Menschen weltweit.

© Project Syndicate

Aus dem Englischen von Helga Klinger-Groier