Nexus 225: Viele Einsatzarten von Diffusionsmodellen -> Bildrekonstruktion & -erweiterung, Forecasting, Metaverse; VW

Hi,

we're back in business. Sommerpause ist beendet. Krankheit überstanden. Das Briefing erscheint jetzt wieder regelmäßig zwei Mal pro Woche - einmal öffentlich Mittwochs, einmal Freitags für Mitglieder.

Let's get to it.

Marcel

Im Fokus dieser Ausgabe:

Diffusionsmodelle lassen sich für Bildrekonstruktionen und für Virtual-World-Generierung in Echtzeit nutzen.
Der fehlende Absatz bei VW schreckt alle in Deutschland auf, die vorher nicht genau hingesehen haben. Dabei kommt die echte Herausforderung erst noch.
und mehr

Zitat des Tages

Da die Fachpresse über den Strukturwandel, den Niedergang des stationären Handels und die damit einhergehenden Möglichkeiten nicht wirklich berichtet (siehe Heile Welt in Burladingen), passieren diese tektonischen Verschiebungen medial eher unbegleitet.

Jochen Krisch über das Versagen der deutschen Fach- und Wirtschaftspresse angemessen über die Insolvenzwelle im stationären Handel zu berichten. In: 10 Jahre Todesliste: Weltbild, Esprit, Depot und andere machen den Weg frei – Exciting Commerce

Themen der vorherigen Ausgaben

Nexus 224: Fokus auf drei Themensträngen bei KI, Taskbündel, VR-Headsets kommen, ein Jahr 404 Media:

Nexus 222: GenKI im richtigen Zeithorizont, KI-Watermarks, das Hermes-Problem:

🤖 KI

Rekonstruktion und Erweiterung von Bildern und Video: Wofür Diffusionsmodelle genutzt werden können

Midjourney, Dall-E, Flux1 und co. werden zwar in der Öffentlichkeit hoch- und runterdiskutiert, haben aber als Bildgeneratoren ein verschwindend geringes Spektrum an Einsatzzwecken. Wenn man sie mit der Allzweckwaffe LLM vergleicht.

Diffusionsmodelle, die wichtigste Architektur hinter Bild- und Videogeneratoren, lassen sich allerdings für überraschend viele andere Dinge nutzen.

Für die FAZ habe ich etwa über ein Paper geschrieben, in dem die Autoren aufzeigen, dass eine diffusionsbasierte Lösung aus dem Output linsenloser(!) und deshalb sehr dünner "Kameras" Bilder extrapolieren kann: KI und linsenlose Bilderfassung: Eine wirklich „kleine“ Revolution.

Man beachte die Beispiele aus dem Paper (ArXiv, Preprint).

Das Spektrum der Möglichkeiten wird damit enorm erhöht. Im FAZ-Text nenne ich viele Beispiele möglicher Richtungen, allgemein gesprochen lässt es sich so zusammenfassen:

Die Frage, die man sich als Unternehmen stellen sollte ist, wo man visuelle Auswertung jetzt neu einbauen wird, wenn Platz, Gewicht, Energieverbrauch und Preis als beschränkende Faktoren auf der Kameraseite massiv zurückgehen. Oder anders gesagt: Diese Faktoren werden dank KI-Auswertung jetzt flexibel anpassbar an die eigenen Bedürfnisse in puncto Kosten und qualitatives Ergebnis. Das kann etwa interessant sein für die Wartung und Inspektion von Maschinen und Anlagen in engen Räumen oder direkt im Inneren der Maschinen. Auch neue Produkte oder weiterentwickelte Produkte, dank zusätzlicher, erfasster visueller Daten, sind damit möglich.

Einmal im Monat mache ich in der FAZ einen Überblick über die jüngsten für das Puplikum relevanten KI-Papers. Oft geht es neben den Potenzialen darin um Security-Themen, wie im Überblick im Juli. (KI-Papers: KI-Agenten greifen autonom Schwachstellen an)

Im heute erschienenen Überblick (KI-Papers: Weder KI noch Mensch erkennen KI-Texte zuverlässig, KI-basierte Niederschlagsvorhersage, Ansätze für 3D-Rekonstruktionen) habe ich zufälligerweise weitere Paper gesammelt, die Diffusionsmodelle einsetzen. Zwei machen Rekonstruktionen von visuellem Input, einmal Video, einmal unsortierte(!) Bildsammlung ohne Metadaten(!). Forscher haben außerdem auf einem Diffusionsmodell setzend eine sehr akurate Niederschlagsvorhersage entwickelt.

Man beachte wieder die Beispiele:

ReconX: Reconstruct Any Scene from Sparse Views with Video Diffusion Model:

Spann3R:

Google GameNGen zeigt, warum KI wichtig für das Metaverse ist

Last not least, erwähne ich in der jüngsten Paper-Übersicht auch Googles GameNGen. GameNGen lässt einen KI-Agenten ein Spiel erlernen (DOOM natürlich, was sonst), zeichnet die Sessions auf und trainiert mit diesen Aufzeichnungen ein Diffusionsmodell. Anschließend kann man Doom über das Diffusionsmodell spielen, das in Echtzeit auf Inputbasis die nächsten Bilder errechnet.

Das alles läuft schon mit 20 Frames pro Sekunde und braucht nur ein TPU. (Tensor Processing Unit, Wikipedia)

Contentgenerierung in Echtzeit wird für contentintensive Dinge wie eine VR-Umgebung wie das Metaverse sehr wichtig werden. KI und Metaverse gehen zusammen.

(Das ist einer der vielen Gründe, warum Meta so viel in KI investiert.)

Wie die KI-Deals das Internet von morgen formen

Das öffentliche Internet wird von den durch KI ausgelösten Machtverschiebungen massiv durchgerüttelt. Reddit etwa sperrt alle Suchmaschinen, die auf den Bing-Index setzen aus, weil sie einen Datendeal mit Google haben und möchten, dass alle anderen KI-Unternehmen ebenfalls zahlen. Da hört es aber nicht auf.

Von mir in der FAZ: Wie die KI-Deals das Internet von morgen formen

🚌 Transportsektor

VW mit sinkendem Absatz

Tagesschau:

Finanzchef Arno Antlitz verwies mit Blick auf die Standorte auf sogenannte Überkapazitäten. In Europa würden derzeit zwei Millionen Autos weniger pro Jahr verkauft als vor der Corona-Pandemie. Das werde sich kaum ändern. Für VW - mit einem Marktanteil von rund einem Viertel in Europa - bedeute das: "Es fehlen uns die Verkäufe von rund 500.000 Autos, die Verkäufe für rund zwei Werke. Und das hat nichts mit unseren Produkten zu tun oder schlechter Leistung des Vertriebs. Der Markt ist schlicht nicht mehr da."

Europas größter Autobauer hatte angekündigt, angesichts der sich zuspitzenden Lage den eingeschlagenen Sparkurs bei der Kernmarke VW noch einmal zu verschärfen. Auch eine Werksschließung in Deutschland und betriebsbedingte Kündigungen werden nicht länger ausgeschlossen.

Schlicht nicht mehr da? Wo ist er denn hin, dieser Markt? Ist er in den Urlaub gefahren? Ausgewandert?

"das hat nichts mit unseren Produkten zu tun" fasst hervorragend das Mindset-Problem bei VW zusammen. Natürlich haben Portfoliopflege, Margenfokus und Priorisierung oder fehlende Priorisierung von wichtiger werdenden Produktaspekten einen Einfluss auf den adressierbaren Markt. Auch wenn die Peers ebenso schlafen wie man selbst ändert das nichts an diesen Fakten.

Seit mindestens 10 Jahren war klar, dass der Abschwung für die deutschen Hersteller kommen würde, wenn sie so weitermachen wie bisher. In diesen letzten 10 Jahren hat sich leider viel zu wenig getan.

Ich habe unzählige Male über die Versäumnisse der deutschen Konzerne im Briefing geschrieben; und auch darüber, wie im Vergleich dazu etwa Stellantis sehr viel besser agiert:

2019 schrieb ich: Die deutsche Automobilbranche in der SUV-Falle. Das war damals bereits nicht neu. Seitdem hat sich die Branche noch stärker auf Marge und Profitabilität konzentriert, Softwarekompetenzen weitestgehend weitere fünf Jahre verschlafen und nicht aggressiv Elektroauto-Portfolios aufgebaut oder sich anderweitig strategisch angemessen auf die kommenden Herausforderungen eingestellt.

In der Zwischenzeit haben die chinesischen Hersteller qualitativ massiv aufgeholt.

Wer jetzt überrascht ist über das, was man von VW hört, war die letzten Jahre nicht aufmerksam.

Das Bitterste ist, dass der große Hammer erst noch kommt. China überholt gerade mit E-Autos die europäische Branche; oder zieht zumindest gleich.

Waymo hat aktive Robotaxis in den ersten US-Städten. In China pusht die Regierung ebenfalls Robotaxis in Wuhan und anderen Städten. Gleichzeitig finden Gespräche zwischen chinesischen Herstellern und Waymo statt, spezifische Vehikel für fahrerlose Mobility zu bauen. (siehe dazu auch diesen FAZ-Text von mir vom Juli: Langsam aber sicher: Wie und wann autonome Autos die Branche umkrempeln werden)

Und in Deutschland sind alle sprachlos, weil sich Verbrenner nicht mehr wie früher verkaufen.

"das hat nichts mit unseren Produkten zu tun"

Diese Aussage stimmt insofern, als dass globale Entwicklungen im Transportsektor, sei es Autonomy, Software-Modelle oder Elektrifizierung, zunehmend, und alarmierend!, weniger werdend mit Produkten von VW zu tun haben.

Das klingt jetzt alles sehr frustriert und negativ, deshalb noch diese abschließende Anmerkung: Natürlich ist noch nicht alles verloren. Aber gemessen an den langen Produktzyklen im Autosektor und den in den deutschen Konzernen immer noch zu schwachen Kernkompetenzen bei den wichtigen, strukturellen Zukunftsthemen läuft die Zeit langsam aber sicher ab.