NEW YORK / MÜNCHEN (IT BOLTWISE) – Eine neue Studie von Apple-Ingenieuren offenbart tiefgreifende Schwächen in den nachgesagten “Denkfähigkeiten” großer Sprachmodelle, insbesondere bei mathematischen Aufgaben.
- Die besten Bücher rund um KI & Robotik
präsentiert von Amazon! - Unsere täglichen KI-News von IT Boltwise® bei LinkedIn abonnieren!
- KI-Meldungen bequem via Telegram oder per Newsletter erhalten!
- IT Boltwise® bei Facy oder Insta als Fan markieren und abonnieren!
- AI Morning Podcast bei Spotify / Amazon / Apple verfolgen!
- RSS-Feed 2.0 von IT Boltwise® für KI-News speichern!
Seit einiger Zeit präsentieren Unternehmen wie OpenAI und Google die fortgeschrittenen “Denkfähigkeiten” ihrer Künstlichen Intelligenz als nächste große Entwicklung. Eine neue Studie von sechs Apple-Ingenieuren zeigt jedoch, dass diese mathematischen “Denkfähigkeiten” bei großen Sprachmodellen (LLMs) sehr fragil und unzuverlässig sein können, besonders bei geringfügigen Änderungen an gängigen Testproblemen.
Die Ergebnisse dieser Forschung unterstützen frühere Studien, die darauf hindeuten, dass LLMs lediglich auf probabilistische Mustererkennung setzen, ohne die notwendigen formalen Konzepte zu verstehen. “Aktuelle LLMs sind nicht zu echtem logischen Denken fähig”, so die Hypothese der Forscher. “Sie versuchen vielmehr, die in ihren Trainingsdaten beobachteten Denkprozesse nachzuahmen.”
Die Studie mit dem Titel “GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models”, die derzeit als Preprint verfügbar ist, basiert auf GSM8K, einem standardisierten Test mit über 8.000 mathematischen Textaufgaben auf Grundschulniveau. Diese Probleme dienen oft als Benchmark für die Denkfähigkeiten moderner LLMs. Die Forscher verfolgten einen neuen Ansatz, indem sie einen Teil dieses Testsets dynamisch modifizierten und bestimmte Namen und Zahlen durch neue Werte ersetzten. Zum Beispiel könnte eine Aufgabe über Sophie, die 31 Bausteine für ihren Neffen kauft, in der neuen GSM-Symbolic-Evaluierung zu einer Aufgabe über Bill werden, der 19 Bausteine für seinen Bruder kauft.
Diese Veränderungen sollten keine signifikante Auswirkung auf die Schwierigkeit der mathematischen Probleme haben. Doch die Ergebnisse waren überraschend: Alle getesteten LLMs, insgesamt mehr als 20, zeigten eine reduzierte Genauigkeit, wenn sie auf GSM-Symbolic getestet wurden. Die Leistung sank je nach Modell zwischen 0,3 und 9,2 Prozent im Vergleich zu den Ergebnissen auf GSM8K. Besonders auffällig waren die großen Leistungsschwankungen innerhalb eines Modells, wenn die Tests mit verschiedenen Namen und Werten wiederholt wurden. In manchen Fällen betrugen die Unterschiede zwischen den besten und schlechtesten Ergebnissen innerhalb eines Modells bis zu 15 Prozent.
Diese Varianz deutet laut den Forschern darauf hin, dass die Modelle kein formales logisches Denken vollziehen. Stattdessen versuchen sie, bekannte Muster aus ihren Trainingsdaten auf neue Probleme anzuwenden, was zu unzuverlässigen Ergebnissen führt.
Noch drastischer wurden die Unterschiede bei Tests mit der sogenannten “GSM-NoOp”-Benchmark. In dieser Variante wurden scheinbar relevante, aber letztlich unwesentliche Informationen zu den Aufgaben hinzugefügt. Eine Aufgabe, bei der es darum ging, wie viele Kiwis jemand an verschiedenen Tagen pflückt, wurde zum Beispiel durch den Hinweis ergänzt, dass “fünf der Kiwis etwas kleiner als der Durchschnitt” waren. Diese irrelevanten Zusatzinformationen führten bei vielen Modellen zu katastrophalen Leistungseinbrüchen von bis zu 65,7 Prozent.
Die Forscher erklären diesen Leistungsabfall damit, dass die KI-Modelle ähnliche Beispiele in ihren Trainingsdaten gesehen haben, bei denen die hinzugefügten Informationen relevant waren. Dies führte dazu, dass die Modelle versuchten, die kleinen Kiwis von der Gesamtzahl abzuziehen, obwohl dies in diesem Fall nicht notwendig war. Dieser Fehler offenbart laut den Forschern tiefere Probleme im Denkprozess der Modelle, die nicht allein durch Feinabstimmung behoben werden können.
Die Ergebnisse dieser neuen Studie zeigen erneut, wie brüchig die Fähigkeiten moderner LLMs sein können, wenn sie mit unerwarteten Änderungen in den Aufgabenstellungen konfrontiert werden. Trotz ihrer beeindruckenden Leistung in vielen Bereichen, fehlt es diesen Modellen an der Fähigkeit, echtes logisches Verständnis zu entwickeln. Stattdessen agieren sie oft auf der Basis von Mustererkennung, die bei Abweichungen vom Bekannten zusammenbricht.
Amazon-Trendangebote der letzten 24 Stunden mit bis zu 78% Rabatt (Sponsored)
- NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.
Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!
- Die Zukunft von Mensch und MaschineIm neuen Buch des renommierten Zukunftsforschers und Technologie-Visionärs Ray Kurzweil wird eine faszinierende Vision der kommenden Jahre und Jahrzehnte entworfen – eine Welt, die von KI durchdrungen sein wird
- Künstliche Intelligenz: Expertenwissen gegen Hysterie Der renommierte Gehirnforscher, Psychiater und Bestseller-Autor Manfred Spitzer ist ein ausgewiesener Experte für neuronale Netze, auf denen KI aufbaut
- Obwohl Künstliche Intelligenz (KI) derzeit in aller Munde ist, setzen bislang nur wenige Unternehmen die Technologie wirklich erfolgreich ein
- Wie funktioniert Künstliche Intelligenz (KI) und gibt es Parallelen zum menschlichen Gehirn? Was sind die Gemeinsamkeiten von natürlicher und künstlicher Intelligenz, und was die Unterschiede? Ist das Gehirn nichts anderes als ein biologischer Computer? Was sind Neuronale Netze und wie kann der Begriff Deep Learning einfach erklärt werden?Seit der kognitiven Revolution Mitte des letzten Jahrhunderts sind KI und Hirnforschung eng miteinander verflochten
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Apple-Studie zeigt Schwächen in der “Denkfähigkeit” großer KI-Modelle auf" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.