AI

Persönliche KI-Assistenten: Wo und wie wird die nächste riesige Plattform entstehen?

22. Februar 2024 by Marcel Weiß

ChatGPT und Co. zu benutzen kann sich anfühlen, als wäre man Bill Murray in „Und täglich grüßt das Murmeltier“. Denn die Modelle „vergessen“ die Interaktionen mit den Nutzern. Und dann muss man ihnen alles wieder von vorn erklären. Was aber wenn dieser Teil der Architektur gelöst ist? Was fehlt dann noch für den gigantischen Markt des persönlichen Assistenten?

Es sind, natürlich einmal wieder, die Daten. Denn die Chat-Historie allein wird das nicht lösen. Wo können sie herkommen, sprich also an welchen Stellen wird sich dieser riesige Markt formieren können?

Das sind die Fragen, mit denen ich mich anlässlich erster Memory-Experimente bei GPT-4 (Nexus 186) und insgesamt wachsenden Kontextfenstern (siehe Google Gemini) in meinem Text für das D:Economy-Briefing der F.A.Z. beschäftigt habe.

Neben den üblichen Verdächtigen (Apple & Google mit ihren mobilen OS) kommen auch Tastaturapps wie Grammarly und Onlinespeicher wie Dropbox in Frage.… Weiterlesen

Aleph Alpha: Der vermeintliche USP und das wahrscheinlichste Szenario

21. Februar 2024 by Marcel Weiß

Der vermeintliche USP

Der USP der Datensouveränität wird bei Aleph Alpha völlig überhöht:

In Zeiten, in denen Unternehmen Office 365 einsetzen (wo Dokumente standardmäßig in der Cloud bei Microsoft landen) und Azure fröhlich jede regulatorische Anforderung erfüllt, die hiesige Gesetze oder Kunden haben, kann der TAM (maximal adressierbare Markt) für KI made in Germany nicht so groß sein. Aber natürlich gibt es ihn.
Wie wichtig kann das aber sein, um dafür auf ein spürbar schlechteres Tool zu setzen? Die Qualitätsunterschiede dürfen nicht riesig sein, nur marginal.
Die Unterschied sind aber RIESIG, wie man u.a. beim Stanford-Vergleich sehen kann.
Mehr noch: Aleph Alphas Luminous Supreme, sein bestes Modell, landet dort hinter den Open-Source-Modellen, und zwar gleich hinter mehreren: Llama 2 (70B und 13B(!)

Rabbit R1: Wenn der Bullshit-Detektor anschlägt

25. Januar 2024 by Marcel Weiß

Rabbit R1 - no subscription required ich schwör — Rabbit R1 – no subscription required ich schwör

Oje. In einem Interview mit Fast Company spricht der Rabbit-CEO Jesse Lyu über den R1. Der ehemalige Baidu-Mitarbeiter sagt unter anderem:

If Rabbit were simply an app, Apple could see his code, which Lyu feels would equate to sharing his company’s IP. He’d need to create and maintain apps for both iOS and Android, which requires lots of ongoing investment for a high level of execution. And ultimately, Rabbit would be served up in the same trough of every other app. „Yes, you can be very successful on the App Store, but you have that lack of sense of security,“ says Lyu. „Like, what if tomorrow, there’s a better app? Think of filter apps for Instagram. There’s no loyalty whatsoever!“

Die Argumente gegen App und für Hardware vom Rabbit-CEO, und meine Kommentare dazu:

Apple kann den wertvollen Code von Rabbit sehen, wenn sie die R1-Funktionalität in eine App gießen: Das relevante LAM (Large Action Model, KI-gestütztes Screenscraping) läuft und kann nur in der Cloud laufen, in virtuellen Browsern, die den Diensten von Spotify bis Uber vorgaukeln, ein Nutzer wäre auf der anderen Seite.

Rabbit R1 und Humane: Die größte offene Frage bei den KI-Gadgets

11. Januar 2024 by Marcel Weiß

Die größte offene Frage bei all den KI-Gadgets wie Humane AI Pin oder Rabbit R1: Du kannst die App-Rankings einer beliebigen Kategorie nicht auf die Zahl 1 eindampfen. KI ist mächtig, aber ganze Branchen wegabstrahierende Chatbots werden aus offensichtlichen Gründen nicht das nächste große Interface sein. Was also stattdessen tun?

Denn was das Eindampfen bedeutet, kann man bei Humanes AI Pin sehen. Musik beim AI Pin heißt: Tidal. Das hat nicht die Nutzerin ausgesucht. Es ist das Ergebnis eines Hinterzimmerdeals zwischen Humane und Tidal.

Das KI-Interface mag besser sein. Apps in den Appstores suchen, mag nerven. Aber es ist mit Sicherheit nicht besser, wenn wir zur mobilen Branchenstruktur der Prä-Appstore-Ära zurückkehren, als Manager der Mobilfunkanbieter im teuersten Restaurant der Stadt überzeugt werden mussten, welche mobilen Programme es wert sind, bis zum Endgerät durchzukommen, und bitte schön, ich habe ihnen noch ein Geschenk mitgebracht.… Weiterlesen

Neues aus der KI-Forschung: Finetuning kann Sicherheitsschranken von Foundation Models aushebeln

13. Dezember 2023 by Marcel Weiß

Für den FAZ D:Economy-Newsletter sammele ich künftig regelmäßig interessante Papers aus der KI-Forschung. In der ersten Sammlung, für die ich fünf Papers kuratiert habe, beschäftigt sich ein Paper mit der überraschenden Tatsache, dass Finetuning eines Foundation Models dazu führen (oder dafür genutzt werden) kann, die Sicherheitsplanken auszuhebeln, die dem Modell vom Anbieter mitgegeben wurden:

Dafür braucht es nur wenige, nachteilig gestaltete Trainingsbeispiele: Sicherheitsleitplanken von GPT-3.5 Turbo konnten durch ein Finetuning mit nur 10 solchen Beispielen zu Kosten von weniger als 0,20 Dollar über die APIs von Open AI ausgehebelt werden, wodurch das Modell auf nahezu alle schädlichen Anweisungen reagiert.
Forschung zeigt vor allem auch, dass selbst ohne böswillige Absichten ein einfaches Finetuning mit gutartigen und häufig verwendeten Datensätzen die Sicherheitsausrichtung von LLMs unbeabsichtigt verschlechtern kann, wenn auch in geringerem Ausmaß.

Krasser Deal: ChatGPT bekommt Axel-Springer-Infos gegen Kohle

13. Dezember 2023 by Marcel Weiß 2 Comments

Dall-E interpretiert diesen krassen Nachrichten-Hammer

Im Rahmen der Vereinbarung erhält ChatGPT Zugang zu Inhalten von Axel Springer, darunter deutsche Medien wie Bild und Welt und in den USA und Europa vertretenen Medien wie Politico und Business Insider, die es für Echtzeit-Nachrichtenzusammenfassungen und zum Training seiner umfangreichen Sprachmodelle nutzen kann.

Für Axel Springer: Das schnell einzutüten ist recht clever für Axel Springer gewesen, weil die verfügbaren Summen für derlei Deals natürlich von Deal zu Deal sinken werden.

Für OpenAI: Deals dieser Art schützen sie künftig vor Kritik aus dieser Richtung und stellen Zugang zu aktuellen Inhalten sicher und schaffen natürlich auch eine Markteintrittsbarriere für alle, die nach OpenAI kommen. Es schafft aber auch einen potenziell folgenreichen Präzedenzfall, den ich persönlich für schwierig halte.… Weiterlesen

Die Top 3 Highlights vom OpenAI DevDay

7. November 2023 by Marcel Weiß

GPT-Store ist die nächste Plattform von OpenAI.
GPT-4 Turbo bekommt das bis dato größte Kontextfenster mit 128.000 Tokens.
Massiv günstigere API-Preise werden den Sektor beflügeln.

Das alles sollte man im Plattformkontext von OpenAI lesen.

Hier kann man die Keynote auf YouTube anschauen. Gehen wir in die Details.

1.: Assistants-API und GPT-Store mit No-Code GPTs

Die neue Assistants-API, die es einfacher macht GPT-basierte Assistenten zu bauen, und der neue GPT-Store gehen Hand in Hand.

OpenAI:

This API is designed for flexibility; use cases range from a natural language-based data analysis app, a coding assistant, an AI-powered vacation planner, a voice-controlled DJ, a smart visual canvas–the list goes on. The Assistants API is built on the same capabilities that enable our new GPTs product: custom instructions and tools such as Code interpreter, Retrieval, and function calling.

Was man zum OpenAI DevDay wissen sollte

6. November 2023 by Marcel Weiß

Am 7.11.23 fand die erste Entwickler:innenkonferenz von OpenAI statt. Hier kann man die Keynote auf YouTube anschauen. Anbei ein paar Aspekte, die man bei OpenAI mitdenken sollte.

Gerüchte gab es zuhauf. (u.a. t3n, Decoder) Wichtiger ist der Kontext, vor dem man die Verkündigungen und Neuerungen von OpenAI einordnen sollte:

Nachdem die Kooperation mit Ex-Apple-Designer Jony Ive leakte, vermuteten viele, OpenAI könne ein eigenes Smartphone bauen. Es gibt gute Gründe dagegen: Mobile Plattformdynamiken und im Gegensatz zu Apple und Android fehlende Distribution. aiPhone: OpenAIs Hardwarepläne im heutigen Plattformkontext

Stattdessen: Die Verflechtungen zwischen Humane und OpenAI und die ersten Humane-Gadgets auf einer Fashion-Show zeigen den wahrscheinlichsten Hardware/Kompanion-Weg auf, den OpenAI gehen könnte.… Weiterlesen

OpenAI+Humane+MVNO: Der potenzielle Gamechanger

16. Oktober 2023 by Marcel Weiß

OpenAI will wohl eigene Chips bauen. (Rappler, Reuters) Grundsätzlich sinnvoll, angesichts der LLM-Kosten und der Knappheit von Nvidia-Hardware.

Aber: Eigene Chips kommen mir ein bisschen größenwahnsinnig vor angesichts der Größe und des Alters des Unternehmens. Außerdem: Zum Microsoft-Deal gehört, dass OpenAI Azure intern benutzt.

Was ist der Zeithorizont hier? Geht Altman davon aus, dass sie in 5 bis 10 Jahren schon aus dem exklusiven Microsoft-Deal herausgekommen sein werden, weil sie dann die Umsatzziele für die Rückzahlung erreicht haben? Wer jetzt in eigene Chips geht, will das in 5+ Jahren spätestens einsetzen.

Oder: Es geht bei diesem Gerücht nicht um Chips für Training oder Inferenz im Serverpark sondern um Chips für Endkonsumentengeräte, die einen Teil des Processings lokal machen werden.

Das passt hierzu:

Altman ist der größte Investor in Humane.… Weiterlesen

Poe, der erste große Aggregator-Ansatz im KI-Sektor

9. Oktober 2023 by Marcel Weiß

Poe, eine Tochter der Q&A-Plattform Quora, bietet in einer Oberfläche den Zugang zu allen relevanten Large Language Models (LLMs) und Text-zu-Bild-Generatoren an, die heute für Endnutzer:innnen verfügbar und per API einbindbar sind.

Warum es wichtig ist: Es ist noch alles andere als offensichtlich, wie sich die Arbeitsteilung zwischen den Anbietern im generativen KI/ML-Sektor entwickeln wird. Ein Aggregator, der Nutzer auf der einen Seite versammelt und mit den Modellen auf der anderen Seite zusammenbringt, kann theoretisch mächtig werden. Offen natürlich noch, ob das hier funktionieren wird. Es ist das etablierte Plattform-Playbook, das wir etwa vom Amazon-Marktplatz und anderen kennen, an dem sich Quora hier mit Poe versucht.

Poe, das kurz für ‚Platform for Open Exploration‘ steht, hat diverse LLMs integriert:

ChatGPT
GPT-4
Claude+ von Anthropic
Quoras eigener Allgemeinwissens-Bot namens Sage
StabilityXL-basierte Modelle
viele mehr

Poe ist sicher der beste Weg aktuell, wenn man sich einen Überblick über die Fähigkeiten von endkonsumentengerichteten LLMs machen will.… Weiterlesen