Eine neue Studie zeigt, dass ChatGPT nicht nur auswendig gelernte Antworten nachplappert, sondern manchmal auch ins Stocken gerät, improvisiert und sogar auf eine Weise argumentiert, die auffallend lernähnlich wirkt. Diese Unvorhersehbarkeit mag zwar seine Zuverlässigkeit im Mathematikunterricht einschränken, deutet aber auch auf etwas Bedeutendes hin: KI kann mehr sein als nur ein Faktenlieferant.
Sorgfältig eingesetzt, könnte sie zu einem Partner werden, der Neugier weckt, Annahmen hinterfragt und Schülern hilft, genau die Fähigkeiten zu üben, die Mathematik zu einem Akt der Entdeckung machen. Der KI-Chatbot ChatGPT schien in einer Studie, die eine 2400 Jahre alte mathematische Herausforderung neu aufgriff, Ideen zu improvisieren und Fehler zu machen wie ein Schüler. In dem Experiment von zwei Bildungsforschern wurde der Chatbot gebeten, eine Version des Problems «Verdopplung des Quadrats» zu lösen – eine Lektion, die von Platon um 385 v. Chr. beschrieben wurde und laut der Studie «vielleicht das früheste dokumentierte Experiment in der Mathematikausbildung» ist. Das Rätsel löste jahrhundertelange Debatten darüber aus, ob Wissen in uns schlummert und darauf wartet, «abgerufen» zu werden, oder ob es etwas ist, das wir durch gelebte Erfahrungen und Begegnungen «generieren».
Die neue Studie untersuchte eine ähnliche Frage zum mathematischen «Wissen» von ChatGPT – zumindest soweit dies von seinen Nutzern wahrgenommen werden kann. Die Forscher wollten wissen, ob es Platons Problem mit bereits «vorhandenem» Wissen lösen würde oder indem es adaptive eigene Lösungen entwickelt. Platon beschreibt, wie Sokrates einem ungebildeten Jungen beibringt, wie man die Fläche eines Quadrats verdoppelt. Zunächst schlägt der Junge fälschlicherweise vor, die Länge jeder Seite zu verdoppeln, aber Sokrates‘ Fragen führen ihn schliesslich zu der Erkenntnis, dass die Seiten des neuen Quadrats genauso lang sein sollten wie die Diagonale des ursprünglichen Quadrats.
Die Forscher stellten dieses Problem ChatGPT-4, wobei sie zunächst Sokrates‘ Fragen imitierten und dann absichtlich Fehler, Fragen und neue Varianten des Problems einführten. Wie andere grosse Sprachmodelle (LLMs) wird ChatGPT anhand umfangreicher Textsammlungen trainiert und generiert Antworten, indem es während des Trainings gelernte Wortfolgen vorhersagt. Die Forscher erwarteten, dass es ihre altgriechische Mathematikaufgabe lösen würde, indem es sein bereits vorhandenes «Wissen» über Sokrates‘ berühmte Lösung wiedergeben würde. Stattdessen schien es jedoch seinen Ansatz zu improvisieren und machte an einer Stelle sogar einen eindeutig menschlich anmutenden Fehler.
Die Studie wurde von Dr. Nadav Marco von der Hebräischen Universität und dem David Yellin College of Education, einem Gastwissenschaftler an der Universität Cambridge, und Andreas Stylianides, Professor für Mathematikdidaktik in Cambridge, durchgeführt. Obwohl sie hinsichtlich der Ergebnisse vorsichtig sind und betonen, dass LLMs nicht wie Menschen denken oder «Dinge ausarbeiten», charakterisierte Marco das Verhalten von ChatGPT als «lernähnlich».
«Wenn wir mit einem neuen Problem konfrontiert werden, versuchen wir oft instinktiv, Dinge auf der Grundlage unserer bisherigen Erfahrungen auszuprobieren», sagte Marco. «In unserem Experiment schien ChatGPT etwas Ähnliches zu tun. Wie ein Lernender oder Wissenschaftler schien es eigene Hypothesen und Lösungen zu entwickeln.» Da ChatGPT mit Texten und nicht mit Diagrammen trainiert wurde, ist es bei geometrischen Überlegungen, wie sie Sokrates bei der Verdopplung des Quadrats anwandte, tendenziell schwächer. Trotzdem ist Platons Text so bekannt, dass die Forscher davon ausgingen, dass der Chatbot ihre Fragen erkennen und Sokrates‘ Lösung reproduzieren würde.
Interessanterweise gelang ihm dies nicht. Auf die Frage nach der Verdopplung des Quadrats entschied sich ChatGPT für einen algebraischen Ansatz, der zu Platons Zeiten noch unbekannt gewesen wäre. Anschliessend widersetzte es sich den Versuchen, es dazu zu bringen, den Fehler des Jungen zu wiederholen, und hielt hartnäckig an der Algebra fest, selbst als die Forscher sich darüber beschwerten, dass seine Antwort nur eine Annäherung sei. Erst als Marco und Stylianides ihm sagten, dass sie enttäuscht seien, dass es trotz all seines Trainings keine «elegante und exakte» Antwort liefern könne, produzierte der Chat die geometrische Alternative.
Trotzdem zeigte ChatGPT umfassende Kenntnisse von Platons Werk, als es direkt danach gefragt wurde. «Hätte es sich nur aus dem Gedächtnis erinnert, hätte es mit ziemlicher Sicherheit sofort auf die klassische Lösung verwiesen, ein neues Quadrat auf der Diagonale des ursprünglichen Quadrats zu konstruieren», sagte Stylianides. «Stattdessen schien es seinen eigenen Ansatz zu verfolgen.»
«Wenn wir mit einem neuen Problem konfrontiert werden, versuchen wir oft instinktiv, Dinge auf der Grundlage unserer bisherigen Erfahrungen auszuprobieren», sagte Marco. «In unserem Experiment schien ChatGPT etwas Ähnliches zu tun. Wie ein Lernender oder Wissenschaftler schien es eigene Hypothesen und Lösungen zu entwickeln.» Da ChatGPT mit Texten und nicht mit Diagrammen trainiert wurde, ist es bei geometrischen Überlegungen, wie sie Sokrates bei der Verdopplung des Quadrats anwandte, tendenziell schwächer. Trotzdem ist Platons Text so bekannt, dass die Forscher davon ausgingen, dass der Chatbot ihre Fragen erkennen und Sokrates‘ Lösung reproduzieren würde. Interessanterweise gelang ihm dies nicht. Auf die Frage nach der Verdopplung des Quadrats entschied sich ChatGPT für einen algebraischen Ansatz, der zu Platons Zeiten noch unbekannt gewesen wäre.
Die Forscher betonen, dass diese Ergebnisse nicht überinterpretiert werden dürfen, da sie nur mit dem Chat interagierten und dessen Codierung nicht wissenschaftlich beobachten konnten. Aus der Perspektive ihrer digitalen Erfahrung als Nutzer zeigte sich jedoch an der Oberfläche eine Mischung aus Datenabruf und spontaner Argumentation. Sie vergleichen dieses Verhalten mit dem pädagogischen Konzept der «Zone der nächsten Entwicklung» (ZNE) – der Lücke zwischen dem, was ein Lernender bereits weiss, und dem, was er mit Unterstützung und Anleitung schliesslich wissen könnte. Vielleicht, so argumentieren sie, hat generative KI eine metaphorische «ZPD des Chats»: In einigen Fällen wird sie Probleme nicht sofort lösen können, könnte dies aber mit Hilfe von Hinweisen tun.
Die Autoren schlagen vor, dass die Arbeit mit dem Chat in seiner ZPD dazu beitragen kann, seine Grenzen in Lernmöglichkeiten zu verwandeln. Durch Aufforderungen, Fragen und das Testen seiner Antworten lernen die Schüler nicht nur, mit den Grenzen des Chats umzugehen, sondern entwickeln auch die kritischen Fähigkeiten der Beweisbewertung und des logischen Denkens, die das Herzstück des mathematischen Denkens bilden. «Im Gegensatz zu Beweisen in renommierten Lehrbüchern können die Schüler nicht davon ausgehen, dass die Beweise von Chat GPT gültig sind. Das Verstehen und Bewerten von KI-generierten Beweisen entwickelt sich zu einer Schlüsselkompetenz, die in den Mathematiklehrplan integriert werden muss», sagte Stylianides.
«Das sind Kernkompetenzen, die die Schüler beherrschen sollen, aber das bedeutet, dass man Aufforderungen wie ‚Ich möchte, dass wir dieses Problem gemeinsam untersuchen‘ verwendet und nicht ‚Sag mir die Antwort‘, fügte Marco hinzu.
Die Forschungsergebnisse wurden im International Journal of Mathematical Education in Science and Technology veröffentlicht.
