Briefing 284: Was die KI-Forschung gerade treibt

Diese Sonderausgabe folgt keinem der üblichen Briefing-Schemata. Sie räumt meinen Lesestapel (ein bisschen) auf. Seit dem Frühjahr haben sich hier Forschungsarbeiten angesammelt, die ich gespeichert, aber nicht in der FAZ-Kolumne untergebracht habe. Dazu kommen interessante Papers aus meiner permanenten Begleitung der KI-Forschung.

Was in den FAZ-Kolumnen stand, fehlt hier bewusst.

Ganz oben stehen die vier aus meiner Sicht interessantesten Paper, ausführlich besprochen. Danach geht es kompakter weiter, sortiert nach Trends. Am Ende folgt der Rest des Stapels in Stichpunkten.

Bei allen Papern steht der Peer-Review noch aus.

Marcel

Im Fokus dieser Ausgabe:

• Wissenschaftliches Gespür lässt sich trainieren: Ein Reward-Modell aus 700.000 Zitationspaaren schlägt Gemini 3 Pro und GPT-5.2 beim Bewerten von Forschungsideen.
• Der Kapitalmarkt bepreist KI-Nutzung bereits: Ein NBER-Paper misst Adoption erstmals an realem Tokenverbrauch. KI-exponierte Firmen erzielen messbare Überrenditen, und agentische Systeme stellen inzwischen die Hälfte des Verbrauchs.
• Ein Medical AI Scientist durchläuft den kompletten Forschungszyklus autonom. Ein von ihm erzeugtes Manuskript wurde auf einer Konferenz akzeptiert.
• Warum Agenten teuer bleiben: Ein großer Effizienz-Survey ordnet Gedächtnis, Werkzeugnutzung und Planung entlang der Kosten-Nutzen-Grenze.
• Das Harness rückt ins Zentrum: Die Werkzeugschicht um das Modell herum wird zum eigenständigen Forschungsgegenstand; ein 20B-Suchagent mit ausgelagertem Suchzustand erreicht Frontier-Niveau.
• Ökonomie der Agenten: Ein Agent führt 500 Tage ein simuliertes Startup; fast alle Modelle wirtschaften das Kapital herunter.
• Gedächtnis bis 100 Millionen Token Kontext, und Dokumenten-KI, bei der ein 1,2-Milliarden-Modell die 200-fache Größe schlägt.
• Sicherheit: Menschliche Überzeugungstricks heben die Compliance von LLMs von 35 auf 51 Prozent, und absurde Angriffe hebeln Agenten-Guardrails aus.
• und mehr

Zitat des Tages

Scientific discovery depends on expert judgement and foresight, which we call scientific taste: the ability to judge and propose research ideas with potential for long-term scientific impact

Aus dem Paper „AI Can Learn Scientific Taste"

Vorab: zwei Fäden aus der FAZ-Kolumne

In der Juli-Ausgabe der KI-Papers steckt der für die Praxis wohl am meisten unterschätzte Befund: Die ETH Zürich hat Kontextdateien wie AGENTS.md, die Standardempfehlung für Coding-Agenten, erstmals systematisch geprüft. Automatisch generierte Dateien verbessern die Erfolgsquote nicht, verteuern die Bearbeitung aber um rund 20 Prozent; handgeschriebene helfen nur mit echtem internem Wissen. (Paper)

Die Ausgabe von Anfang Juni enthielt ein Paper, das zu einem Schwerpunkt dieser Sonderausgabe passt: Ein Ökonom der amerikanischen Federal Reserve verglich drei KI-Agentensysteme mit 146 menschlichen Ökonomenteams bei kausalstatistischen Aufgaben. Die KI-Schätzwerte waren konsistenter als die menschlichen; im Blind-Ranking landeten die KI-Systeme vorn. (Website)

Die vier wichtigsten Paper

1. Kann KI lernen, welche Forschungsideen gut sind? Ja.

Was macht eine Forschungsidee vielversprechend, und kann eine KI das beurteilen und selbst vorschlagen? Bisherige AI-Scientist-Systeme lesen Paper, führen Experimente durch und schreiben Code. Sie können aber nicht einschätzen, ob eine Idee überhaupt verfolgenswert ist.

Ein Team von Fudan University, Shanghai Innovation Institute, OpenMOSS und Tsinghua stellt RLCF vor, Reinforcement Learning from Community Feedback. Die Idee dahinter: Was die Forschung langfristig schätzt, zeigt sich in Zitaten, und daraus lassen sich paarweise Vergleiche bauen. Mit 700.000 gematchten Paaren aus 2,1 Millionen arXiv-Publikationen entsteht Scientific Judge, ein generatives Reward-Modell. Damit wird Scientific Thinker trainiert, das zu einem Paper eine Folgeidee mit hohem Impact vorschlägt.

SciJudge-Qwen3-30B erreicht 80,6 Prozent paarweise Genauigkeit und schlägt proprietäre Modelle, darunter GPT-5.4 Thinking.

Die Kernaussage: Wissenschaftliches Gespür ist kein mystisches Menschenmerkmal, sondern eine erlernbare Funktion.

Paper: AI Can Learn Scientific Taste, ArXiv, Begutachtung im Prozess

2. Der Kapitalmarkt bepreist die KI-Nutzung schon

Wie weit ist die KI-Adoption wirklich, jenseits von Umfragen? Nicola Borri, Yukun Liu und Aleh Tsyvinski nutzen in einem neuen NBER-Arbeitspapier einen außergewöhnlichen Datensatz des Model-Routers OpenRouter: 380 Billionen Token, über 400 Sprachmodelle, Millionen Nutzer, rund zwei Prozent des aktuellen globalen monatlichen KI-Tokenverbrauchs. Erstmals wird damit realisierte Nutzung gemessen statt geschätzter Betroffenheit.

Aus dem Wachstum von Tokens, Ausgaben und Nutzern konstruieren die Autoren einen „AI Factor" und messen über den Gleichlauf der Aktienrenditen, wie stark einzelne Firmen exponiert sind. Das Ergebnis: Ein Portfolio, das auf stark exponierte Firmen setzt und schwach exponierte leerverkauft, erzielte 64,1 Basispunkte Überrendite pro Woche. Der Effekt ist kein reiner Tech-Sektor-Effekt; er reicht bis zu konsumnahen und kapitalintensiven Firmen und ist am stärksten bei intensiver Frontier-Nutzung, also Closed-Source-Modellen, zahlenden, erfahrenen Nutzern und langen, komplexen Prompts.

Zwei Sachen sind noch interessant. Erstens sind interaktive, kommunikationsintensive Tätigkeiten positiv exponiert, analytische und prozesssteuernde dagegen negativ. Zweitens wuchs der Anteil agentischer Systeme am Tokenverbrauch (also KI-Nutzung) im Untersuchungszeitraum von praktisch null auf mehr als die Hälfte. Die agentische Ökonomie ist im Rekordtempo angekommen.

Paper: AI Premium, NBER, Working Paper ohne Peer-Review

3. Ein KI-System, das klinische Forschung von der Idee bis zum Manuskript selbst betreibt

Autonome Forschungssysteme existieren jetzt schon seit ein paar Jahren, sind aber fast immer domänenagnostisch. Medizinische Forschung verlangt dagegen klinisch fundierte Hypothesen, spezielle Datenformate und Compliance. Forscher der Chinese University of Hong Kong und von Microsoft Research stellen mit Medical AI Scientist das erste autonome Framework speziell für die klinische KI-Forschung vor.

Es kennt drei Modi: ein Paper reproduzieren, aus Referenzliteratur neue Hypothesen entwickeln oder aus einer offenen Frage eigene Forschungsrichtungen finden. Alle laufen vollautomatisch von der Idee bis zum Manuskript. Ein Clinician-Engineer Co-Reasoning führt medizinische Literatur und Codebases zusammen, damit Hypothesen klinisch rückführbar und technisch umsetzbar bleiben.

In der Ideenbewertung durch Experten liegt das System laut Paper klar vor GPT-5 und Gemini-2.5-Pro. In einer Doppelblindstudie erreichten die Manuskripte MICCAI-Niveau; eines wurde auf der ICAIS 2025 akzeptiert. Grenzen bleiben bei komplexen Methoden und fehlenden Out-of-Distribution-Tests.

Paper: Towards a Medical AI Scientist, ArXiv, Begutachtung im Prozess

Verwandt: In Science zeigt eine Studie, dass OpenAIs o1 menschliche Ärzte und ältere Modelle bei medizinischen Benchmarks und echten Notaufnahmefällen übertraf. (Science)

4. Warum KI-Agenten trotz besserer Modelle langsam und teuer bleiben

Ein Agent löst eine Aufgabe nicht in einem Zug, sondern in einer Schleife aus Planen, Werkzeugnutzung, Beobachtung und erneutem Planen. Der Haken: Mit jedem Schritt wächst der Kontext und damit der Rechenaufwand. Schritt n+1 zahlt immer für die gesamte Arbeit von Schritt n.

Ein Team vom Shanghai Artificial Intelligence Laboratory, der Fudan University und weiteren chinesischen Instituten legt den bisher systematischsten Überblick über Effizienz in agentischen Systemen vor. Untersucht werden drei Komponenten: Gedächtnis, Werkzeugnutzung und Planung. Der Rahmen ist die Pareto-Grenze zwischen Leistung und Kosten, also gleiche Leistung billiger oder mehr Leistung beim gleichen Budget.

Pro Komponente nennen die Autoren konvergierende Prinzipien. Beim Gedächtnis Kontextkompression und Retrieval; beim Tool Learning Belohnungen, die Werkzeugaufrufe minimieren; bei der Planung kontrollierte statt erschöpfender Suche.

Paper: Toward Efficient Agents: Memory, Tool learning, and Planning, ArXiv, Begutachtung im Prozess

Nach Trends sortiert

Harness und Skills

Im Juni habe ich in der FAZ beschrieben, warum die Skill- und Harness-Schicht über dem Modell für Europas KI-Souveränität entscheidend ist. Die Forschung zu dieser Schicht beschleunigt sich seither sichtbar.