Viele verlassen sich auf LLM um auch mathematische Operationen durchzuführen. Dieser Ansatz funktioniert nicht.

Das Problem ist eigentlich ganz einfach: Große Sprachmodelle (LLM) wissen nicht wirklich, wie man multipliziert. Sie können manchmal das richtige Ergebnis erzielen, so wie ich vielleicht den Wert von Pi auswendig weiß. Aber das bedeutet weder, dass ich ein Mathematiker bin, noch, dass LLMs wirklich wissen, wie man rechnet.

Praktisches Beispiel

Beispiel: 49858 *59949 = 298896167242 Das Ergebnis ist immer das gleiche, es gibt keinen Mittelweg. Es ist entweder richtig oder falsch.

Selbst mit umfangreichem mathematischen Training schaffen es die besten Modelle nur, einen Teil der Operationen richtig zu lösen. Ein einfacher Taschenrechner hingegen erhält immer 100 % der Ergebnisse richtig. Und je größer die Zahlen werden, desto schlechter wird die Leistung der LLMs.

Ist es möglich, dieses Problem zu lösen?

Das Grundproblem ist, dass diese Modelle durch Ähnlichkeit und nicht durch Verständnis lernen. Sie arbeiten am besten mit Problemen, die denen ähnlich sind, für die sie trainiert wurden, entwickeln aber nie ein wirkliches Verständnis für das, was sie sagen.

Für diejenigen, die mehr erfahren möchten, empfehle ich diesen Artikel über "wie ein LLM funktioniert".

Ein Taschenrechner hingegen verwendet einen präzisen, programmierten Algorithmus, um die mathematische Operation durchzuführen.

Aus diesem Grund sollten wir uns bei mathematischen Berechnungen nie vollständig auf LLMs verlassen: Selbst unter den besten Bedingungen, mit riesigen Mengen spezifischer Trainingsdaten, können sie selbst bei den grundlegendsten Operationen keine Zuverlässigkeit garantieren. Ein hybrider Ansatz könnte funktionieren, aber LLMs allein sind nicht genug. Vielleicht wird dieser Ansatz zur Lösung des sogenannten"Erdbeerproblems" verfolgt.

Anwendungen von LLMs im Studium der Mathematik

Im Bildungskontext können LLMs als personalisierte Tutoren fungieren, die in der Lage sind, die Erklärungen an das Verständnisniveau des Schülers anzupassen. Wenn ein Schüler beispielsweise mit einem Problem der Differentialrechnung konfrontiert wird, kann das LLM die Argumentation in einfachere Schritte aufschlüsseln und detaillierte Erklärungen für jeden Schritt des Lösungsprozesses liefern. Dieser Ansatz trägt dazu bei, ein solides Verständnis der grundlegenden Konzepte zu entwickeln.

Ein besonders interessanter Aspekt ist die Fähigkeit der LLMs, relevante und vielfältige Beispiele zu generieren. Wenn ein Schüler versucht, das Konzept eines Grenzwerts zu verstehen, kann das LLM verschiedene mathematische Szenarien präsentieren, beginnend mit einfachen Fällen und fortschreitend zu komplexeren Situationen, wodurch ein progressives Verständnis des Konzepts ermöglicht wird.

Eine vielversprechende Anwendung ist die Verwendung von LLM für die Übersetzung komplexer mathematischer Konzepte in leichter zugängliche natürliche Sprache. Dies erleichtert die Vermittlung von Mathematik an ein breiteres Publikum und kann dazu beitragen, die traditionelle Zugangsbarriere zu dieser Disziplin zu überwinden.

LLMs können auch bei der Vorbereitung von Lehrmaterial helfen, indem sie Übungen mit unterschiedlichem Schwierigkeitsgrad erstellen und ausführliche Rückmeldungen zu den Lösungsvorschlägen der Schüler geben. Auf diese Weise können die Lehrkräfte den Lernweg ihrer Schüler besser anpassen.

Der wahre Vorteil

Generell ist auch die extreme "Geduld" zu berücksichtigen, mit der selbst der am wenigsten "fähige" Schüler lernt: In diesem Fall hilft die Abwesenheit von Emotionen. Trotzdem verliert auch die KI manchmal die "Geduld". Siehe dieses 'amüsante' Beispiel.

‍

Update 2025: Begründungsmodelle und der Hybrid-Ansatz

Die Jahre 2024-2025 brachten mit der Einführung so genannter "schlussfolgernder Modelle" wie OpenAI o1 und deepseek R1 bedeutende Entwicklungen. Diese Modelle haben bei mathematischen Benchmarks beeindruckende Ergebnisse erzielt: o1 löst 83 % der Probleme in der Internationalen Mathematik-Olympiade korrekt, verglichen mit 13 % bei GPT-4o. Aber Vorsicht: Sie haben das oben beschriebene grundlegende Problem nicht gelöst.

Das Erdbeerproblem - das Zählen des "r" in "Erdbeere" - veranschaulicht die anhaltende Einschränkung perfekt. o1 löst es nach ein paar Sekunden des "Nachdenkens" korrekt, aber wenn man es bittet, einen Absatz zu schreiben, in dem der zweite Buchstabe jedes Satzes das Wort "CODE" bildet, scheitert es. o1-pro, die $200/Monat-Version, löst es... nach 4 Minuten der Verarbeitung. Bei DeepSeek R1 und anderen neueren Modellen ist die Grundzahl immer noch falsch. Im Februar 2025 antwortete Mistral immer wieder, dass es nur zwei "r" in "Erdbeere" gibt.

Der Trick, der sich herauskristallisiert, ist der hybride Ansatz: Wenn sie 49858 mit 5994949 multiplizieren müssen, versuchen die fortschrittlicheren Modelle nicht mehr, das Ergebnis auf der Grundlage von Ähnlichkeiten mit Berechnungen aus dem Training zu "erraten". Stattdessen rufen sie einen Taschenrechner auf oder führen Python-Code aus - genau so, wie es ein intelligenter Mensch tun würde, der weiß, wo seine Grenzen liegen.

Diese "Werkzeugnutzung" stellt einen Paradigmenwechsel dar: Künstliche Intelligenz muss nicht alles selbst können, sondern muss in der Lage sein, die richtigen Werkzeuge zu orchestrieren. Denkmodelle kombinieren sprachliche Fähigkeiten, um das Problem zu verstehen, schrittweises Denken, um die Lösung zu planen, und Delegation an spezialisierte Werkzeuge (Taschenrechner, Python-Interpreter, Datenbanken) für die präzise Ausführung.

Die Lektion? Die LLMs des Jahres 2025 sind in der Mathematik nützlicher, nicht weilsie das Multiplizieren "gelernt" haben - sie haben es noch nicht wirklich getan -, sondern weil einige von ihnen begonnen haben zu verstehen, wann sie das Multiplizieren an diejenigen delegieren sollten, die es tatsächlich können. Das Grundproblem bleibt: Sie arbeiten mit statistischer Ähnlichkeit, nicht mit algorithmischem Verständnis. Ein 5-Euro-Rechner ist für genaue Berechnungen nach wie vor unendlich viel zuverlässiger.

‍