Stochastischer Papagei, unscharfes JPEG, Autovervollständigung auf Steroiden

Mit LLMs ist das Gleiche passiert, was mit jedem gesellschaftlichem Thema ab einer bestimmten Höhe passiert. Die Thematik wird in einem identitätsgetriebenen, selbst-radikalisierenden Diskurswettstreit zu Bestätigungsfutter und Aufmerksamkeitswährung zermahlen. Debatten, die sich anfühlen wie Take-out-Werbung, die an die Türen anderer Restaurants gehängt wird.

LLMs sind in den letzten 6 Monaten nicht nur in der Nützlichkeit explodiert, sie sind unweigerlich auch sofort Kanonenfutter im Internet of Beefs geworden. Das gehört heute leider zusammen. Jedes Thema mit hoher Dynamik und entsprechenden Potenzialen und Gefahren wird so diskursiv teilweise gehijackt.

Das Ergebnis ist Herdenbildung und viel Lärm, was eine kollektive Einordnung dieser neuen Arten von Informationssynthese sehr stark erschwert.

Ein sehr guter Text über AI Ethics und AI-„Kritik“, der das streift, ist auf dem überhaupt sehr lesenswerten The Algorithmic Bridge erschienen, wo sich Alberto Romero sehr bedacht mit dem Thema generative KI auseinandersetzt:

Yet, as honorable as their goals may be, I’ve noticed, like surely many of you, that their manners have degraded with time. I’m hesitant to quote them anymore because the hostility they show toward anyone who disagrees with them in the slightest makes me uneasy. (Of course, I’m referring to the visible leaders, not everyone. I won’t quote them because people see the group as a monolithic entity; their names are irrelevant to the point.)

I don’t recall having this sensation a couple of years ago; why have they turned more aggressive? Perhaps because they feel like they’re shouting into the void as the world keeps going and people are increasingly hyping–and getting hyped by–these systems? Could be, that’s definitely happening and it’s infuriating. Perhaps because they’re tired of fighting a war they can’t win, even when they’re right? It’s discouraging how power can silence the loudest truth. But perhaps also because some of the central arguments they were putting forward to support their narrative began to crumble in the face of undeniable practical improvements, such as ChatGPT.

To sustain the thesis that corporations and greedy executives (and the decisions they make) are the true threat behind the algorithms, it’s necessary to first dismantle the illusion that AI systems have–or are on the brink of having–intelligence (or agency, thoughts, sentience, or the ability to set themselves free from our control). And to do so (which I agree with) the easiest path–the one they took–is to disparage any apparent progress and ridicule the capabilities of ChatGPT and its cousins (which I disagree with) by putting them in the worst possible light, bordering on outright contempt.

Sorry für das lange Zitat. Mehr:

„Stochastic parrot“ was not the first but became the most famous of the many ridiculing metaphors that the ethicists wanted to get across to the general public. The paper that coined the term was widely read by supporters and detractors alike. Linguist Emily M. Bender et al. raised important points that remain true for all GPT-like systems despite the iterations that came afterward. But in no time the catchy analogy about the limitations of language models (LMs) turned into a weapon to signal one’s beliefs about the non-progress of AI. People soon began to say „stochastic parrot, so what?“ and Sam Altman, OpenAI’s CEO, mocked the concept. It became an ideological flag emptied of meaning.

I could no longer use it. It was corrupted. Most people interpreted it as a rejection of AI advances–which are overhyped, yes, but not non-existent. Other metaphors followed. It seemed like a contest to find the perfect reductionist description of ChatGPT, a far more pathetic tool than the mainstream was portraying it to be: „autocomplete on steroids“ or „super-autocomplete,“ „blurry JPEG,“ „information-shaped sentence“ generator, and even a „‚say something that sounds like an answer‘ machine.“ I played the game too, with my „eraser of the implausible.“

I confess that I actually like these. They’re useful in a way: They provide a familiar example of what’s wrong with LMs, which, being so novel, don’t yet have a place in our mental repository of concepts. They capture their limitations, downsides, and shortcomings. But, in all their imaginative power, not even once did AI ethicists try to popularize an analogy that, while denouncing exaggerations, reflected the utility common people are finding in products like ChatGPT, Bing, Bard, Claude, or their open-source versions.

(Hervorhebungen von mir)

Ich unterschreibe das alles komplett. Das hier trifft meinen eigenen Ansatz ganz gut, nicht nur gegenüber LLMs und und anderer generativer KI/ML, sondern gegenüber Technik allgemein:

I believe it’s necessary to assess the failure modes of new technology, but not without ever admitting its perks and virtues.

Dass man die Aussage überhaupt machen muss, dass eine Technologie notwendig nur dann richtig eingeordnet wird, wenn man neben den Nachteilen und Versagensarten auch die Nützlichkeit und Vorteile der Technologie anspricht, zeigt, wie extrem die Schieflage mancherorts mittlerweile ist.

Er hat auch Tipps wie man all die kritischen Aspekte diskursiv besser angehen sollte:

give up the aggressive discourse around the performance and „intelligence“ of AI systems. It’s not worth it. Even if you’re mostly right, you can’t fight against the perception of millions of people. You can’t win. LMs, with all their flaws, are „incredibly powerful,“ and with all their limitations, can be super useful. Focus instead on all the other points that you’ve been repeatedly–and rightly–raising: governance, data provenance, regulation, algorithmic discrimination, harmful deployment, and other social and ethical repercussions.

In den nächsten Tagen erscheint ein Briefing zu LLMs, an dem ich unter anderem gemeinsam mit einer führenden Expert:in hierzulande zu diesen Themen -governance, data provenance, algorithmic discrimination, harmful deployment- gearbeitet habe. Es gibt Menschen, die sich ernsthaft mit all diesen Aspekten beschäftigen und das seit Jahren. Das sind nicht zwingend die lautesten Stimmen im heutigen Diskurs. (Zumindest in Deutschland ist das leider fast nie der Fall.)

(Ich schreibe seit letztem Jahr sehr viel über LLMs und generative KI allgemein im Mitglieder-Newsletter, weil es spätestens seit ChatGPT und der darauf folgenden Entwicklung in diesem Sektor zum aktuell wichtigsten Tech-Thema geworden ist. Siehe die Themenübersicht. So es meine Zeit erlaubt, werde ich das auch mehr öffentlich machen.)