Wenn Menschen KI-Entscheidungen verschlimmbessern

Eine Studie der TU-Berlin zeigt auf, warum Mensch und Maschine noch kein gutes Team sind.

Die Technische Universität Berlin hat in einem neuen Positionspapier „ein unbequemes Ergebnis“ zusammengefasst: Mensch-KI-Teams treffen oft schlechtere Entscheidungen als die KI allein. Was paradox klingt, zeige sich in vielen Feldern wie Radiologie, Sicherheitstechnik oder Prozessüberwachung. Je zuverlässiger die Systeme, desto größer die Gefahr, dass Menschen die korrekten Empfehlungen der KI überstimmten oder ignorierten.

Die Ursachen sind vielfältig, zwei aber stechen laut der TU Berlin heraus: Erstens: Menschen wollen ihrer Rolle als Entscheider*innen gerecht werden. Wer nur abnickt, fühlt sich überflüssig und greift ein, auch wenn das System recht hat. Zweitens: Die Zuverlässigkeit moderner KI wird unterschätzt. Seltene Fehler erscheinen überbewertet, während die hohe Gesamtleistung kaum wahrgenommen wird.

So entstehe ein Muster, das die Autorinnen und Autoren der TU Berlin in zahlreichen Studien beobachteten: „Menschen greifen unnötig ein und verschlimmbessern so die Gesamtleistung“, sagt Dr. Tobias Rieger, Psychologe am Fachgebiet Handlungs- und Automationspsychologie der TU Berlin und Erstautor des Positionspapiers. So überschrieben etwa Radiologen korrekte Befunde, weil sie ihrer Rolle als finale Entscheider gerecht werden wollten. Und am Flughafen entschieden Gepäckscreener zwar besser mit KI-Assistenz, jedoch häufig auch nicht so gut wie das System allein.

Konflikt mit EU-Regulierung

Brisant ist das den Forschenden zufolge auch mit Blick auf das EU Gesetz zur Regulierung von KI (AI Act). Dieser fordere „wirksame menschliche Aufsicht“ für Hochrisikoanwendungen. Doch wie soll ein Radiologe oder eine Personalabteilung Verantwortung übernehmen, wenn die Maschine statistisch klar überlegen ist, fragen sie. Wenn Menschen systematisch schlechter entscheiden als die KI, stelle sich die Frage, wie Aufsicht in der Praxis gestaltet werden kann, ohne die Gesamtleistung zu verschlechtern.

Erklärbare KI als Schlüssel

Welche Lösungen sind denkbar? Ein Weg ist laut der Forscherinnen und Forscher mehr Transparenz. Doch klassische Ansätze der „erklärbaren KI“ reichten nicht: Zu wissen, was ein tiefes neuronales Netzwerk ist, nützt der Radiologin wenig. Stattdessen müsse es um verhaltensleitende Erklärungen gehen. Systeme sollten ihre Stärken und Schwächen klar kommunizieren, zum Beispiel: „Bei dieser Patientengruppe ist meine Prognose für eine Krebserkrankung besonders zuverlässig.“ So wüssten die Nutzerinnen und Nutzer, wann Zustimmung angebracht ist und wann sich ein kritischer Blick lohnt.

Auf dem Weg zur Synergie

Noch weiter reichen adaptive Konzepte. Die Maschine könnte lernen, wo der Mensch stark ist und ihm in diesen Fällen die Entscheidung überlassen. Umgekehrt könnte sie nur bei Unsicherheiten Empfehlungen geben. „Das Ziel ist eine echte Synergie, in der Mensch und Maschine sich sinnvoll ergänzen. Dafür gibt es keine One-Size-Fits-All-Lösung, sondern es braucht maßgeschneiderte Ansätze für unterschiedliche Anwendungsfelder“, betont Rieger. Deswegen sollten die späteren Nutzer einer KI bereits in ihre Entwicklung mit eingebunden werden.

Bis dahin sei es zwar noch ein weiter Weg, doch das Positionspapier mache deutlich: „Der Schlüssel liegt nicht darin, Menschen aus dem Prozess zu drängen, sondern Systeme so zu gestalten, dass beide Partner*innen einander ergänzen. Erst dann können Mensch und KI gemeinsam tatsächlich bessere Entscheidungen treffen”, so das Fazit der Autorinnen und Autoren.