Benutzer- und Datenverzerrungen in Personen­bewertungs­systemen

Bestehende Information-Retrieval-Techniken werden zunehmend für das Ranking von Personen auf verschiedenen Plattformen wie Jobportalen oder Freelance-Markt­plätzen eingesetzt. Die Methoden der Informations­beschaffung wurden jedoch ursprünglich nicht für diesen Zweck entwickelt. Anders als bei der Abfrage von Dokumenten muss bei der Einstufung von Personen ein Schutz gegen die Diskriminierung von Personen aufgrund sensibler Merkmale wie Geschlecht, Herkunft, Alter usw. gewährleistet sein.

Dieses Projekt zielt auf die Entwicklung von Ansätzen zur Bewertung und Kontrolle von Verzerrungen beim Ranking von Personen mit den folgenden vier Hauptzielen:

1. Erstens wollen wir Datenverzerrungen, die während des Trainings von Modellen auftreten, messen und modellieren.
2. Zweitens wollen wir die Verzerrungen der Nutzer*innen messen und modellieren, die sich bei der Interaktion der Nutzer*innen mit einem Ranking-System, z. B. durch die Bereitstellung von Relevanz-Feedback, zeigen.
3. Drittens wollen wir bestehende Ranking-Algorithmen und ihre Fähigkeit, mit Daten- und Nutzer*innenverzerrungen umzugehen, bewerten.
4. Viertens wollen wir unsere empirischen Ergebnisse in die Entwicklung von Ansätzen einfließen lassen, die in der Lage sind, voreingenommene Rankings unter Berücksichtigung von Einstellungen mit oder ohne Feedback zu erstellen.

Wir glauben, dass unser Projekt zur Entwicklung von Systemen beitragen wird, die die Komplexität der Bewertung von Personen angemessen berücksichtigen. Die im Projekt entwickelten Methoden und Ansätze werden auch die weitere Forschung in Richtung eines fairen Information Retrievals fördern.