Realitätscheck für generative Künstliche Intelligenz

KI-Modelle bestehen heute Prüfungen, schreiben überzeugende Texte und liefern oft erstaunlich gute Antworten. Aber wie kann man herausfinden, welches der mittlerweile zahlreichen Modelle für die Lösung einer bestimmten Aufgabe am besten geeignet ist?

Um das zu bestimmen, werden in der Regel sogenannte Benchmarks eingesetzt. Das sind in diesem Fall Datensätze, die meist Paare aus Fragen und Antworten für eine bestimmte Problemstellung enthalten. Für die Bewertung und den Vergleich von KI-Modellen werden diesen die Fragen aus dem Benchmark gestellt und der Anteil korrekter Antworten gemessen. Viele dieser Tests basieren auf festen Fragen- und Antwortsammlungen, die öffentlich im Web verfügbar sind. Da KI-Modelle mit Daten aus dem Web trainiert werden, könnte eine KI solche Aufgaben bereits aus ihren Trainingsdaten kennen und die richtigen Antworten „auswendig gelernt“ haben, oder gezielt darauf optimiert worden sein, in genau diesen Tests gut abzuschneiden. In beiden Fällen würde man die Leistung des KI-Modells überschätzen – die KI wirkt dann leistungs­fähiger, als sie bei der Bearbeitung neuer, nicht vorab bekannter Probleme tatsächlich ist. Das neue Projekt von Paulheim setzt hier an: Statt immer wieder dieselben statischen Testfragen zu verwenden, sollen Aufgaben erst im Moment der Prüfung neu erzeugt werden. Danach werden sie bewertet und nicht erneut eingesetzt.

Ziel des Projekts ist, ein flexibel nutzbares Werkzeug zu entwerfen, mit dem sich solche dynamischen KI-Tests für verschiedene Anwendungen entwickeln und erproben lassen, um so realistischer einschätzen zu können, was generative KI wirklich kann. Für Forschung, Unter­nehmen und öffentliche Einrichtungen würde dies eine Unter­stützung in der Auswahl geeigneter Systeme bieten, um herauszufinden, welchem Modell sie welche Aufgabe anvertrauen können und wo Vorsicht geboten ist.

Das Forschungs­projekt wird von der Vector Stiftung über 1,5 Jahre mit 100.000 Euro gefördert. Die Vector Stiftung ist eine unter­nehmens­verbundene Stiftung mit Sitz in Stuttgart. Sie fördert Projekte in den Bereichen Forschung, Bildung und Soziales Engagement in Baden-Württemberg.