Automated Decision-Making System

Ein Automated Decision-Making System — kurz ADMS — ist eine Software, die selbstständig Entscheidungen fällt oder zumindest eine Empfehlung ausspricht, nach der Menschen fast automatisch handeln. Ein Mensch legt die Regeln fest, nach denen das System urteilt. Danach läuft es allein. Das Ergebnis — Zusage, Ablehnung, Einstufung — kommt ohne weitere menschliche Prüfung heraus. Solche Systeme verarbeiten dabei oft sehr viele Datenpunkte gleichzeitig, von Kontobewegungen bis zu Klickverhalten in einer App.

Was auf dem Spiel steht

ADMS treffen Entscheidungen, die das Leben einzelner Menschen direkt verändern. Ein Algorithmus berechnet, ob eine Bank einen Kredit vergibt. Ein anderes System filtert Bewerbungen heraus, bevor ein Personalverantwortlicher auch nur einen Blick darauf geworfen hat. Wer vom System abgelehnt wird, erfährt oft nicht warum.

Das erzeugt ein Machtproblem. Früher begründete ein Sachbearbeiter seine Entscheidung — zumindest im Prinzip. Ein Algorithmus gibt keine Begründung, er gibt ein Ergebnis. Wenn das System systematisch bestimmte Gruppen benachteiligt, etwa weil es aus historisch verzerrten Daten gelernt hat, kann sich dieser Fehler millionenfach wiederholen, ohne dass es jemand bemerkt.

Genau deshalb schreibt die europäische Datenschutz-Grundverordnung (DSGVO) vor, dass Menschen in bestimmten Fällen das Recht haben, eine menschliche Überprüfung automatisierter Entscheidungen zu verlangen. Der EU AI Act, der seit 2024 schrittweise in Kraft tritt, geht noch weiter und stuft ADMS in besonders sensiblen Bereichen als « Hochrisiko-KI » ein.

Regelbasiert oder lernend — zwei grundverschiedene Bauarten

Es gibt zwei grundlegende Wege, ein ADMS zu bauen. Der erste Weg sind feste Regeln: Wenn Einkommen unter X und Schulden über Y, dann Ablehnung. Diese Regeln schreibt ein Mensch auf. Sie sind nachvollziehbar, aber starr — Ausnahmen sind schwer zu berücksichtigen.

Der zweite Weg nutzt maschinelles Lernen, also eine Methode, bei der eine Software Muster aus Beispieldaten selbst herausarbeitet. Das Modell lernt etwa aus Tausenden vergangener Kreditfälle, welche Merkmale mit Zahlungsausfall zusammenhängen. Es entscheidet dann ohne explizite Regeln — was es leistungsfähiger, aber schwerer durchschaubar macht.

Dieser zweite Typ wird oft als « Black Box » bezeichnet: Man sieht, was hineingeht und was herauskommt, aber nicht, wie die Entscheidung im Inneren zustande kommt. Ein eigenes Forschungsfeld namens Explainable AI (erklärbare KI) versucht, genau dieses Problem zu lösen und die Entscheidungswege solcher Modelle sichtbarer zu machen.

ADMS in Nachrichten und Alltag

ADMS begegnen einem häufiger, als man denkt. Wer auf einer Streamingplattform einen Film vorgeschlagen bekommt, erlebt eine harmlose Variante. Wer einen Mietvertrag beantragt, dessen Bonität per Schufa-Score bewertet wird, erlebt eine folgenreiche. In den USA sortieren solche Systeme Lebensläufe bei Großkonzernen vor, bestimmen die Höhe von Kautionszahlungen vor Gericht und berechnen die Rückfallwahrscheinlichkeit von Straftätern.

In der Finanzberichterstattung taucht der Begriff auf, wenn Banken ihre Kreditvergabe automatisieren oder wenn Versicherungen anfangen, Prämien algorithmisch zu berechnen. Auch in der politischen Debatte ist er präsent: In den Niederlanden erklärte ein Gericht 2020 ein staatliches ADMS zur Betrugserkennung für illegal, weil es intransparent und diskriminierend war — ein Urteil, das in ganz Europa Aufmerksamkeit erregte.

Der Begriff ist kein rein technisches Konzept mehr. Er ist zu einem rechtlichen und politischen Kampfbegriff geworden, der die Frage aufwirft, wie viel Entscheidungsmacht eine Gesellschaft Algorithmen überlassen will.