KI und Verantwortung – Unter der Lupe: Wie kann faire KI gelingen?

KI spielt in vielen Lebens­bereichen eine zunehmend wichtige Rolle – und wirft dabei grundlegende rechtliche und ethische Fragen auf. Aus diesem Grund schrieb die Baden-Württemberg Stiftung ein Förder­programm mit dem Titel „Verantwortliche Künstliche Intelligenz” aus – auch drei Projekte der Universität Mannheim erhielten den Zuschlag. Im Fokus: Forschungs­vorhaben, die die Interaktion von KI-Technologien und Gesellschaft unter­suchen. „Dass gleich drei von zehn geförderten Projekten an der Universität Mannheim angesiedelt sind, ist ein großer Erfolg für uns. Dies bestätigt Mannheims zentrale Rolle in den Bereichen Data Science und Künstliche Intelligenz“, freute sich damals Prof. Dr. Heiko Paulheim, Inhaber des Lehr­stuhls für Data Science, der zwei der Projekte verantwortet. Drei Jahre lang forschten drei interdisziplinäre Teams , vier Fakultäten der Uni Mannheim waren beteiligt. Was sind die Ergebnisse?

Wenn die KI die Preise bestimmt
Auf Online-Plattformen wie Amazon sind immer häufiger KI-Systeme im Einsatz, die die Preise der Konkurrenz beobachten und auf dieser Basis ihre eigenen Preise festsetzen. Was aber, wenn sich KI-Systeme sich nicht nur an anderen Preisen orientieren, sondern gezielte Preisabsprachen treffen? „Aus Arbeiten in anderen Bereichen war bereits bekannt, dass Algorithmen ein koordiniertes und kooperatives Verhalten erlernen können. Für Anwendungs­fälle der Preissetzung ist dies besonders sensibel, da hier das Kartellrecht Absprachen verbietet“, erklärt Prof. Dr. Heiko Paulheim. Im Rahmen des Projekts „Kartellrechts­konforme KI (KarekoKI)” erarbeitete er deshalb gemeinsam mit seinem Kollegen Prof. Dr. Thomas Fetzer, Inhaber des Lehr­stuhls für Öffentliches Recht, Regulierungs­recht und Steuerrecht einen Rechts­rahmen und Strategien zur technischen Verhinderung von KI-basierter Preisabsprache. Mithilfe von Markt­simulationen unter­suchten die Forschenden, in welcher Form die KIs in diesem Szenario Kooperation erlernen können. Die Ergebnisse sind eindeutig: Es konnte gezeigt werden, dass die derzeit üblicherweise eingesetzten Algorithmen des sogenannten Reinforcement Learning sehr wohl lernen können, quasi-monopolistische Preise zu erzielen und somit in der Lage sind, die Mechanismen eines funktionierenden Marktes auszuhebeln. „Aus Sicht der Rechts­wissenschaft bedeutet das, dass die bisherige Rechts­prechung zum Kartellrecht mit Blick auf Preisalgorithmen kritisch beleuchtet werden muss. Es hat sich in diesem Projekt gezeigt, dass die geltenden Rechts­normen sehr stark auf menschliche Akteur*innen zugeschnitten sind und nur bedingt auf Algorithmen angewandt werden können“, fasst der Jurist Fetzer zusammen. Und so wurden im Rahmen des Projekts auch Vorschläge erarbeitet, wie das geltende Kartellrecht angepasst werden kann, um auch für KI-Agenten anwendbar zu bleiben.

Spaltet die KI die Gesellschaft?
Auch am Projekt „Responsible News Recommender Systems“ (ReNewRS) war Paulheim beteiligt. Gemeinsam mit Dr. Philipp Müller vom Institut für Medien- und Kommunikations­wissenschaft und in Zusammenarbeit mit Prof. Dr. Harald Sack (FIZ Karlsruhe) sowie Prof. Dr. Christof Weinhardt (KIT Karlsruhe) unter­suchte der Informatiker hier, ob Nachrichtenempfehlungs­systeme wie zum Beispiel Google News oder Bing News für die Polarisierung oder gar Radikalisierung von Nutzer*innen verantwortlich sind. Ziel des Projekts war, in einer Reihe von experimentellen Studien das Auftreten von Filterblasen durch Nachrichtenempfehlungs­systeme und deren Aus­wirkungen auf die Meinungs­bildung zu zeigen. Das Team führte mehrere Versuchsreihen durch, um die Polarisierung von Nutzer*innen durch Nachrichtenempfehlungs­dienste zu messen. „Wir konnten zeigen, dass Nachrichtempfehlungs­systeme nicht „neutral“ sind, d.h., sie erzeugen mit der Personalisierung eine nicht-ausgewogene Nachrichtenauswahl für Nutzer*innen. In den Experimenten wurde allerdings auch deutlich, dass, zumindest im Rahmen der durchgeführten, meist nur kurze Zeit andauernden Versuche, nur in sehr schwachem Maße eine Polarisierung der Nutzer*innen nachgewiesen werden konnte“, macht Paulheim deutlich. Das Team entwickelte Ansätze, um die Auswahl der Nachrichten durch Nachrichtenempfehlungs­systeme in Zukunft neutraler zu gestalten, ohne das Nutzungs­erleben merklich zu verschlechtern.

Bürokratie & Digitalisierung
Wie fair behandelt die KI den Menschen? Automatisierte Entscheidungen sind immer häufiger Teil unseres Alltags, auch in der öffentlichen Verwaltung. Das Projekt „Fairness in Automated Decision-Making (Fair ADM)” von Dr. Ruben Bach und Dr. Christoph Kern von der Uni Mannheim und Prof. Dr. Frauke Kreuter der LMU München, beschäftigte sich mit Diskriminierung und Fairness von auf Algorithmen basierten Entscheidungs­prozessen im deutschen öffentlichen Sektor. „Solche ADM-Systeme sollen bürokratische Verfahren optimieren und beschleunigen, ihr Einsatz wirft aber auch neue gesellschaft­liche und ethische Fragen auf“, erklärt Kern. Eine der Befürchtungen: ADM könnte bestehende gesellschaft­liche Diskriminierung verstärken. Und so entwickelten die Forschenden ein eigenes, algorithmisches Modell, das die Einschätzung des Langzeitarbeits­losigkeit-Risikos am deutschen Arbeits­markt ermöglicht und evaluierten mögliche Fairnessrisiken. „Mit diesem Projekt konnten wir zeigen, dass die Integration der Sozial­wissenschaften von entscheidender Bedeutung ist, um Vorurteile und Un­gerechtigkeiten aufzudecken und soziale Ungleichheit in ADM-Systemen zu mindern“, resümiert Kern.

Alle drei Projekte konnten eindeutig zeigen: Immer dann, wenn die KI eigenständig Entscheidungen treffen soll, muss die Forschung genau hinschauen. „Die Aufgabe von uns Wissenschaft­ler*innen sehe ich ganz klar: Wir dürfen uns nicht nur auf die technische Entwicklung konzentrieren, sondern müssen auch genau analysieren und antizipieren, wie sich KI in verschiedenen Situationen verhält. Die Entwicklung von KI unter­scheidet sich deutlich von der Entwicklung klassischer Programme, für ihre Programmierung brauchen wir daher auch eigene Ideen und Regeln, und wir müssen stärker als bei der reinen Entwicklung auch mit Forschenden anderer Disziplinen zusammenarbeiten.  Wir sind nicht nur für die Entwicklung der KI verantwortlich, sondern auch dafür, dass sie verantwortungs­bewusst und fair eingesetzt wird“, so Paulheim. Um in diesem Bereich auch künftig gut gerüstet zu sein, hat die Fakultät für Wirtschafts­informatik und Wirtschafts­mathematik mit Dr. Philipp Kellmeyer einen neuen Junior­professor speziell für Responsible Data Science eingestellt.

Text: Jule Leger/Dezember 2023