Wie schnell vielzitierte Befunde über LLMs ihre Gültigkeit verlieren

Untersucht wurden 50 ausgewählte, vielzitierte Befunde, also das, was man überall liest und hört. 44 Prozent der getesteten Aussagen über LLMs waren bis September 2026 bereits abgelaufen (weitere 34 Prozent hatten sich abgeschwächt). Die Zahl dürfte so manchem Strategiepapier nicht gut bekommen.

Sechs Monate nach einer Studienaussage gelten noch 64 Prozent der Befunde in voller Stärke. Nach einem Jahr sind es 47 Prozent, nach zwei Jahren nur noch 31 Prozent.

Bis eine fertige Studie erscheint, kann ihre Grundlage also schon überholt sein.

Hier der Forschungsbericht.

In meiner Kolumne zur KI-Forschung in der FAZ hatte ich diese Woche darüber geschrieben, neben weiteren Themen: Jev-artige Modelle und die direkte Bearbeitung der Gewichte eines Modells durch ein größeres Modell.

In der FAZ merkte ich zum schnellen Verfall früherer Testergebnisse an:

„Für Unternehmen lässt sich daraus ableiten, frühere Urteile über die Eignung von KI regelmäßig zu überprüfen und dabei Modell, Version und Testzeitpunkt festzuhalten. Gescheiterte Pilotprojekte können eine zweite Prüfung verdienen.“

Oder etwas hipper ausgedrückt: We're so cooked.