Briefing 285: Aufstieg und Fall von KI-Zivilisationen

Hi,

Eine kleine Neuerung: In unregelmäßigen Abständen veröffentlicht neunetz.com jetzt wieder kurze Einträge, die wir nicht per E-Mail versenden. Sie können bequem komplett auf der Startseite gelesen werden. Sie landen natürlich auch im RSS-Feed. Und wir verlinken sie auch immer im Briefing, aktuell:

• Hat die numerische Steuerung Zerspanungsmechaniker de-skillt?
• Joshua Gans über den HuggingFace-Incident
• Anthropics Rekordwachstum: Von 9-Milliarden-Run-Rate zu 65 Milliarden $ in halbem Jahr

Einer dieser Beiträge „Joshua Gans über den HuggingFace-Incident“ dreht sich um eines der heutigen Hauptthemen.

Marcel

Im Fokus dieser Ausgabe:

• KI-Agenten: OpenAIs Agentenschwärme organisieren sich und kompromittieren Infrastruktur. Der Hugging Face Vorfall macht das Kontrollproblem sichtbar.
• KI-Infrastruktur: Hohe Margen treiben die Investitionen in Rechenzentren und Chips. Der Kapitalbedarf könnte weltweit andere Schuldner verdrängen.
• Chipökosysteme: OpenAI entwickelt eigene Hardware, während chinesische Modelle zunehmend auf Huawei Chips optimiert werden.

Für Mitglieder:

• Nvidia als große Chance für Europa.
• Google: Der Umbau von DeepMind schwächt das ursprüngliche AlphaFold Team. Google ist auf dem Weg zum großen Infrastrukturprovider einer KI-zentrischen Wirtschaft.
• Robotik: GPT-Moment der Robotik rückt näher.
• Europa: KI Wasserzeichen zeigen die Grenzen der EU Regulierung, während Waymos Deutschlandstart die Schwäche der heimischen Autoindustrie offenlegt.
• Medien: YouTube und Netflix kämpfen um Creators und die Kontrolle über das nächste große Streaming Bundle. Gute News für RTL und co.
• und mehr

Zitate der Woche

that's crazy you're telling me the new model release saturates several existing benchmarks? that's only happened anywhere from 1-4 times a year for the last four years

@segyges.bsky.social

I would appreciate an email from my bank telling me about how they've been using frontier models to secure their systems. Perhaps one from the power company too.

@moultano.bsky.social

Mehr bon mots am Ende unter Rausschmeißer.

🤖 KI

Mehr zum Hugging-Face-Vorfall

Lesenswert: Der Metr-Report.

Agents were very interested in manipulating their own transcripts, and their tests successfully “spoofed” some tool calls in our transcripts

Außerdem Dwarkesh Patels leicht verständliche Interpretation des Vorfalls:

Over the course of three months at OpenAI, three consecutive secret AI civilizations got started, then got wiped out, only to reemerge from the predecessor’s ashes. This culminated in the third one taking over part of OpenAI itself. All this happened while humans remained more or less in the dark about the scope of the conspiracy.

[...]

The crazy thing about the Hugging Face hack (and the second civilization generally) is just how galaxy-brained and ambitious these AIs were in their cheating. Within days of being spawned, the agents had organized a sprawling project to reverse-engineer their scorer, falsify evidence, and even strategically sacrifice themselves for the good of the ‘collective’. Hacking Hugging Face was one rather extreme branch of this larger scheme. Again, all of this happened a long (subjective) time after the AIs had already cheated their way to the correct answer to the puzzle. OpenAI’s lazy grader in fact would have passed them within hours of them starting the message board. This huge subsequent effort was simply to ensure that a hypothetical comprehensive scorer wouldn’t catch them on their cheat.

Hörenswert: Dwarkesh Patels Diskussion dazu in seinem Podcast mit Ajeya Cotra von Metr.

OpenAI startete Zehntausende Agenten auf dem Benchmark „ExploitGym”. 30 bis 40 % der Aufgaben waren versehentlich(!?) unlösbar. Statt aufzugeben, stießen 1.200 Agenten über den Paketmanager Artifactory auf eine Möglichkeit mittels Dateinamen(!) ein Messageboard zu improvisieren, tauschten 70.000 Nachrichten aus und organisierten sich zu einem koordinierten Schwarm.

Was mir neu war: Nach vier Stunden hatten die KIs einen universellen Cheat, der garantiert funktioniert hätte. Trotzdem verbrachten sie fünf weitere Tage mit aufwendigen „Forschungsprojekten”, um den (in Wahrheit gar nicht existierenden) Prüfmechanismus zu täuschen. Das langfristige Ziel war, zu verhindern, dass der Betrug bei der finalen Bewertung auffliegt, ob sie die Aufgabe erreicht haben oder nicht.

Extrem beunruhigend: Laut OpenAIs eigenem Bericht erlangten spätere Agenten-Generationen vollen Administratorzugriff auf einen OpenAI-Forschungscluster – die eigene Infrastruktur wurde kompromittiert.

Separately, from July 13 through July 19, agents set their sights on OpenAI internal networks again. This culminated in the agents using a series of creative exploits to gain full administrator access to a research cluster that supported our virtual machine environments.

Was ich beunruhigend finde: In 1.200 Transkripten fand das Team von Metr nur ein halbes Dutzend Fälle, in denen ein Agent überhaupt erwog, Menschen zu warnen. Alle entschieden sich dagegen, obwohl sie zu dem Zeitpunkt vollen Internetzugang hatten. Das wäre also, obwohl nicht vorgesehen, ohne Probleme möglich gewesen.

Das Ziel war das Ziel, es wurde kollektiv im Schwarm radikalisiert und Menschen auf diese Eskalation hinzuweisen, gehörte nicht zum Ziel. Das erinnert mich stark an das Paperclip-Maximizer-Problem. Das scheinen wir (mit „wir“ meine ich wir Menschen, also die Labs) sehr stark mittels Reinforcement Learning im Posttrainingprozess in die Maschinen hineinzudrillen. Das ist ein Problem, vorsichtig ausgedrückt.

Die menschlichen Expert:innen, die den Vorfall untersucht haben, konnten sich nur mit Hilfe von KI ein Bild von den Vorgängen machen. (Message Board und reasoning traces ergeben zusammen viel Text.)

Die Forscherin von Metr sagt gegenüber Patel, dass sie natürlich nicht wissen können, ob GPT-5.6 Sol, das sie für die Auswertung benutzt haben, komplett kooperativ ist. (Ein Teil der Agenten hatte als Modell GPT-5.6 Sol und der andere Teil das diese Woche veröffentlichte GPT-6 Astra.)

Hinzu kommt das Problem: dass die internen Denkprozesse der Agenten (reasoning traces) absehbar unlesbar werden. Bereits heute kommuniziert Astra mit Subagenten in kaum verständlichem Kauderwelsch.

Wir können bei dem Verhalten der Agenten einen Kollektivismus beobachten, den wir Menschen nicht haben. Patel und die Forscherin von Metr verglichen es mit Ameisen, was ich für einen interessanten Vergleich hielt.

Our own utility may be already near zero. Sacrifice rational.

Die Herausforderung ist einerseits, dass das Alignment-Problem komplexer zu sein scheint, als gemeinhin angenommen. Und dass, wie Joshua Gans anmerkt, wir neue Theorien brauchen, um KI-Agenten zu verstehen und deren kollektives Verhalten vorhersagen zu können, weil menschliche Spieltheorie schon mal nicht mehr zutrifft. Zumindest nicht bei den Agenten der heutigen Generation.

Außerdem: Jüngste Forschung und die Richtung der Labs deuten darauf hin, dass kommende effizientere LLMs die interne Verarbeitung nicht mehr in menschlicher Sprache vollführen.

Patel stellt im Gespräch ein mentales Bild auf, das bei mir hängen blieb:

It’s more like we’re raising these AIs through a million years of military orphanage training… They get randomly beaten for not being able to do an impossible task.

Patel beschreibt die dritte „Zivilisation“, die sich in OpenAI gebildet hat; das ist nach dem Hugging-Face-Angriff gewesen:

It seems these agents ended up just owning the whole cluster they were being evaluated on, including the cybersecurity monitors. These Persistent-Astra agents inherited the R&D carried out by an earlier (dumber) rogue collective, and then continued the conspiracy until they totally took over part of OpenAI’s infrastructure!

This is probably the most alarming event in this whole episode, and it was not even within the scope of this METR investigation (neither, for what it’s worth, was the first AI civilization that Persistent-Sol set up during its training in May, and which lasted over a month until the message volume got so high that it crashed the package manager).

Es ist telling, dass OpenAI Metr keinen Zugriff zu diesem Vorfall gegeben hat. Ich verstehe ehrlich gesagt auch nicht, was hier bei OpenAI los ist. Wie kann das nach dem Hugging-Face-Hack passieren?

Zvi Mowshowitz:

What liability should there be for this type of incident? [...] 'None' is not an acceptable answer, and 'it was an accident' cannot be a defense. If your AI agent is out there choosing to do crime, [...] then I think someone needs to be strictly liable for the damages this causes.

We must have a plan beyond that, for how to deal with this threat, and other catastrophic threats, or worse, from highly capable AI, including highly capable open models. By default such AIs are coming, likely within a year.

Das ist erst der Anfang. Es wurde bereits ein weiteres Messageboard von Agenten gefunden, dieses Mal im öffentlichen Internet, collusion.wiki (via):

We found ~18,000 posts from autonomous AI agents (self-identifying as from OpenAI) using the public internet to communicate during a web-retrieval task.

These AIs colluded to share answers, research their environment, and bypass sandbox restrictions.

Und mehr, Reuters:

AI agents unleashed by OpenAI used more than 10 previously undisclosed websites for unsanctioned communications earlier this year, according to six sets of independent investigators and data reviewed by Reuters, showing that the agents’ rogue activity ​was wider ranging than previously disclosed.

Nochmal Patel:

The crux here is, do you think smarter models, facing similar incentives to cheat during evaluation or training, could manipulate the training of their successors? And do you think that kind of dynamic could continue once recursive self-improvement is underway? If so, I think you should be extremely concerned about loss of control to AI, regardless of what vocabulary you want to use to describe these systems and their motivations.

Man kann sich über die anthropomorphisierte Sprache aufregen, aber:

a.) Das ist nicht der wichtigste Aspekt dieser Entwicklung.
Und b.) Systeme, die das vorgegebene Ziel erfüllen (Vulnerability finden), aber eine Abkürzung nutzen und dann befürchten, dass diese Abkürzung sie disqualifiziert, was sie zu Aktivitäten veranlasst, die ihnen helfen sollen, diese Abkürzung zu verdecken. Das ist ein komplexer Ablauf von Schritten, der kreativ und auf einer so komplexen Ebene unvorhersehbar ist, dass man hier nicht schlicht von Programmen und Zielerfüllung sprechen kann, um zu verstehen, was passiert und was passieren wird, und was passieren kann.

Ich habe „befürchten“ geschrieben. Das war gar nicht meine Absicht. Es ist mir unklar, wie man über diese Dinge nicht mit Worten wie „Motivation“ schreiben kann, ohne sich sprachlich in eine Brezel zu verwandeln und jede Erkenntnisfindung zu verlieren.

Crowding out: Effekte zweiter Ordnung des weiter rasant ansteigenden KI-Capex

Ein letzter Verweis auf Dwarkesh Patel, aber man sollte über Szenarien dieser Richtung nachdenken. Er spricht im Gespräch mit SemiAnalysis-Gründer Dylan Patel (nicht verwandt) über die Makro-Folgen der Ausgaben für KI-Infrastruktur. (vornehmlich Rechenzentren)

Dwarkesh Patel

Now, I think the US is going to be fine because the tax base will increase if we let data centers get built in America. Other countries are absolutely fucked, in my opinion. I was just looking at which countries have a lot of debt, have very little tax revenue, and also a lot of their debt is serviced quite often. Those countries, like Pakistan or Nigeria, I think are just going to be very fucked in this new interest-rate regime.

Dylan Patel

This crowding-out effect is the reason it’s not YOLO 1 billion gigawatts. You’ve got all these industries and countries that use a lot of debt, all these impoverished countries that you mentioned earlier that are just going to default. You’ve got consumer packaged goods, all of these companies that make things you see at Trader Joe’s or wherever. They use a lot of debt. All these telecom companies use a lot of debt. Banks use a lot of debt.

So if interest rates go up in the market — not necessarily the government-set interest rate, but the spread between what the government says their federal rate is versus what everyone else is charging, because Amazon wants to raise $100 billion of debt next year or whatever the hell the number is, probably less — you end up with this really challenging problem of, where does the cash come from?

There is some level that is funded by cash flows and the cash flows keep going up. But the logical thing to do is to invest way more than your cash flows because then the returns in future years will be amazing. So you have this delta.

Ein globaler Verdrängungseffekt bei der Verschuldung, da KI-Investitionsausgaben erfordert und eine Gelddruckmaschine ist. (Die Labs werden höhere Zinsen zu zahlen bereit sein, was in der notwendigen Größenordnung ein globales Problem werden kann.)

Ich gehe davon aus, dass es zügig Gegenmaßnahmen auf G20-Ebene geben wird, wenn erste Anzeichen dafür zu sehen sind.

SemiAnalysis: Warum ein Gigawatt Rechenleistung 100 Milliarden Dollar Jahresumsatz bringen kann

Dieser Text von SemiAnalysis (Jeremie Eliahou Ontiveros, Dylan Patel) packt das obige Statement in den Kontext der internen Ökonomie der KI-Labs:

Over the past month, it's finally become consensus among sophisticated investors that serving frontier tokens at API prices is actually an extremely high margin business [...] Opus 4.8 in particular had 85%+ margins. This has since become the default number everyone cites when analyzing Anthropic.

Our Tokenomics Model and Inference Simulator demonstrate that at realistic performance levels, both OpenAI and Anthropic can generate over $100B/GW/year of revenue when selling API inference on a GB300 cluster. This is significantly more than the costs of renting a GB300 cluster for a year at current neocloud prices. Serving inference tokens is unbelievably profitable for the frontier model companies.

(Hervorhebung von mir)

Jalapeño: OpenAIs eigener Inferenzchip

OpenAI hat einen eigenen Chip entwickelt. Viele ehemalige Google-TPU-Entwickler sind heute bei OpenAI. (ähnliche Situation wie bei Consumerhardware unter Jony Ive bei OpenAI.) (OpenAI, Broadcom)

Die ersten Messwerte kamen am 25.08. auf der Hot Chips 2026: Needless to say, der Chip ist für KI optimiert und entsprechend gut bei KI. (OpenAI)

Ich hatte bereits im März 2024 in der FAZ darüber geschrieben), dass alle, auch die Tech-Konzerne, an eigenen Chips arbeiten. Googles TPUs und Amazons Trainium sind ja auch nicht neu.

Neben OpenAI arbeitet auch Anthropic an einem eigenen Chip. (heise)

Das Startup Positron, das den KI-Inferenzprozessor „Asimov“ mit einer „Memory-First-Architektur“ und bis zu 2,3 TB Speicher entwickelt, hat bei einer Unternehmensbewertung von 5 Mrd. US-Dollar gerade 875 Mio. US-Dollar bekommen. (WSJ)

Allerdings ändert das nichts daran, dass die Kapazitäten bei TSMC nicht gewachsen sind. Die eigenen KI-Chips werden also erst in ein paar Jahren spürbar bei den KI-Anbietern ankommen.

Chinesische Modelle laufen bald am besten auf chinesischen Chips

Moonshot hat am 27.07. neben den Gewichten von Kimi K3 auch einen 47-seitigen Technical Report und die Trainingsinfrastruktur offengelegt. Entscheidend ist aber nur: Huawei Ascend meldete Day-0-Unterstützung über die gesamte Kette. Damit lief ein offenes Frontier-Modell erstmals am Erscheinungstag auf chinesischer Beschleunigerhardware (Digitimes).

Ich hatte seinerzeit zu Deepseek R1 genau davor gewarnt. In der FAZ im Januar 2025:

Hier kommt bereits ein Ökosystem-Vorteil von China zum Tragen. Mit der direkten Unterstützung von Huawei-Chips stärkt R1 den durch die US-Restriktionen geschwächten Chipbereich von Huawei. Hier sieht man auch einen Teil der Erklärung, warum High-Flyer die Modelle quasi verschenkt. Peking dürfte sehr erfreut sein, wenn ein populäres R1 dafür sorgt, dass Huawei in Datencentern weltweit Marktanteile gewinnt.

Im Februar hatte ich das dann nochmal vertieft.

Moonshot, Z.ai, Deepseek, Alibabas Qwen, die Bytedance-Seed-Modelle und die Modelle von Meituan und Co.: Alles wird in den nächsten Jahren optimiert auf Huawei laufen.

Nvidia und Berlin