Realitätscheck für generative Künstliche Intelligenz
KI-Modelle bestehen heute Prüfungen, schreiben überzeugende Texte und liefern oft erstaunlich gute Antworten. Doch genau darin liegt ein Problem: Gute Testergebnisse sagen nicht immer, ob eine KI eine Aufgabe wirklich verstanden hat.
Viele Tests basieren auf festen Fragensammlungen, die öffentlich verfügbar sind. Eine KI könnte solche Aufgaben bereits aus ihren Trainingsdaten kennen oder gezielt darauf optimiert sein, in genau diesen Tests gut abzuschneiden. Dann wirkt sie leistungsfähiger, als sie in neuen, unbekannten Situationen tatsächlich ist. Das Projekt ZEGeKI setzt hier an: Statt immer wieder dieselben Testfragen zu verwenden, sollen Aufgaben erst im Moment der Prüfung neu erzeugt werden. Danach werden sie bewertet und nicht erneut eingesetzt.
Im Projekt entsteht ein flexibel nutzbares Werkzeug, mit dem sich solche dynamischen KI-Tests für verschiedene Anwendungen entwickeln und erproben lassen. Ziel ist ein fairerer Realitätscheck für generative KI. Forschung, Unternehmen und öffentliche Einrichtungen sollen besser einschätzen können, welchem System sie welche Aufgabe anvertrauen können und wo Vorsicht geboten ist.
Data and Web Science Group der Universität Mannheim
