Die Ankündigung vonStrawberry" von OpenAI hat den Blick auf eine grundlegende Einschränkung von Sprachmodellen gelenkt: ihre Unfähigkeit, einzelne Buchstaben innerhalb von Wörtern zu analysieren. Diese Schwäche offenbart tiefgreifende Aspekte über ihre Funktionsweise.

Das Problem der Zählung

Wenn ChatGPT aufgefordert wird, die "r" in dem Wort "Erdbeere" zu zählen, liegt das Modell oft falsch. Dieser Fehler ist nicht auf einen Mangel an Intelligenz zurückzuführen, sondern auf die Art und Weise, wie Sprachmodelle Texte analysieren. Um zu verstehen, warum das so ist, muss man das Konzept der Tokenisierung.

Die Welt durch Token gesehen

Sprachmodelle sehen Wörter nicht als Abfolge von Buchstaben, sondern als "Token" - in Zahlen umgewandelte Bedeutungseinheiten. Es ist, als würde man ein Buch lesen, in dem jedes Wort durch einen numerischen Code ersetzt wird. Das Wort "Schulbücher" zum Beispiel wird in zwei separate Token aufgeteilt: "Schule" und "Bücher". Dies erklärt, warum das Modell Schwierigkeiten hat, das "o" in diesem Wort richtig zu zählen - es sieht es nicht als ein Wort.

Ein erhellendes Beispiel

Stellen Sie sich vor, Sie lernen eine Sprache, in der das Wort "Schule" immer durch die Zahl "412" dargestellt wird. Wenn jemand Sie fragen würde, wie viele "o's" in "412" enthalten sind, wären wir nicht in der Lage, richtig zu antworten, ohne das Wort jemals vollständig ausgeschrieben gesehen zu haben. Sprachmodelle befinden sich in einer ähnlichen Situation: Sie verarbeiten Bedeutungen durch Zahlen, ohne Zugang zur wörtlichen Zusammensetzung von Wörtern zu haben.

Die Herausforderung der zusammengesetzten Wörter

Das Problem wird bei zusammengesetzten Wörtern noch größer. Timekeeper" ist in einzelne Token aufgeteilt, so dass es für das Modell schwierig ist, die genaue Position der Buchstaben "und" zu bestimmen. Diese Fragmentierung beeinträchtigt nicht nur die Buchstabenzählung, sondern auch das Verständnis der internen Wortstruktur.

Die Lösung für das Erdbeerproblem (vielleicht)

Das künftige OpenAI-Modell Strawberry soll diese Einschränkung durch die Einführung eines innovativen Ansatzes zur Textverarbeitung überwinden. Anstatt sich nur auf die traditionelle Tokenisierung zu verlassen, sollte das Modell in der Lage sein, Wörter auf der Ebene der einzelnen Buchstaben zu analysieren, was präzisere Zähl- und Analysevorgänge ermöglicht.

Künftige Auswirkungen

Die Bedeutung dieses Problems geht über das einfache Zählen von Buchstaben hinaus. Diese granulare Analysefähigkeit könnte das linguistische Verständnis von KI-Modellen erheblich verbessern und sie in die Lage versetzen, Probleme zu lösen, die eine detaillierte Textanalyse auf Zeichenebene erfordern.

Die geplante Integration dieser Technologie ist ein großer Fortschritt auf dem Weg zu Sprachmodellen, die besser in der Lage sind, über die grundlegenden Details der Sprache und nicht nur über statistische Muster "nachzudenken".

‍