Warum KI-Modelle bei mathematischen Beweisen scheitern

MÜNCHEN (IT BOLTWISE) – Die jüngsten Entwicklungen in der Künstlichen Intelligenz (KI) zeigen beeindruckende Fortschritte in der Lösung von mathematischen Problemen. Doch wenn es um die Erstellung komplexer mathematischer Beweise geht, stoßen diese Modelle an ihre Grenzen.

Die Künstliche Intelligenz hat in den letzten Jahren bemerkenswerte Fortschritte gemacht, insbesondere in der Lösung von mathematischen Problemen. Doch eine neue Studie zeigt, dass diese Modelle bei der Erstellung komplexer mathematischer Beweise, wie sie in der US-amerikanischen Mathematik-Olympiade gefordert werden, oft scheitern. Diese Diskrepanz zwischen der Fähigkeit, einfache mathematische Probleme zu lösen, und der Unfähigkeit, tiefere Beweise zu formulieren, wirft Fragen über die tatsächlichen Fähigkeiten dieser KI-Modelle auf.

Simulierte Reasoning-Modelle (SR-Modelle) sind darauf trainiert, einen schrittweisen Denkprozess zu simulieren, um Probleme zu lösen. Doch obwohl sie in der Lage sind, Routineprobleme mit hoher Genauigkeit zu lösen, fehlt ihnen oft die Fähigkeit, die logischen Schritte zu formulieren, die für komplexe Beweise erforderlich sind. Diese Modelle wurden in einer Studie der ETH Zürich und der INSAIT an der Universität Sofia getestet, bei der sie Aufgaben der US-amerikanischen Mathematik-Olympiade 2025 lösen sollten.

Die Ergebnisse waren ernüchternd: Die meisten Modelle erzielten im Durchschnitt weniger als 5 Prozent der möglichen Punkte, wenn es darum ging, vollständige mathematische Beweise zu generieren. Ein Modell, das Google Gemini 2.5 Pro, schnitt mit einem Durchschnitt von 10,1 von 42 Punkten etwas besser ab, was jedoch immer noch weit unter den Erwartungen liegt. Diese Ergebnisse verdeutlichen die Herausforderungen, vor denen KI-Modelle stehen, wenn es um die Lösung von Aufgaben geht, die über einfache Mustererkennung hinausgehen.

Ein zentraler Aspekt der Studie ist die Unterscheidung zwischen der Lösung von mathematischen Problemen und der Erstellung von Beweisen. Während mathematische Probleme oft eine direkte Antwort erfordern, verlangen Beweise eine detaillierte Erklärung der logischen Schritte, die zu dieser Antwort führen. Diese Fähigkeit zur logischen Argumentation fehlt den meisten aktuellen KI-Modellen, was ihre Anwendung in Bereichen einschränkt, die tiefere mathematische Einsichten erfordern.

Die Forscher identifizierten mehrere wiederkehrende Fehler in den von den Modellen generierten Beweisen. Dazu gehörten logische Lücken, unbewiesene Annahmen und inkorrekte Ansätze, die trotz widersprüchlicher Ergebnisse weiterverfolgt wurden. Besonders auffällig war, dass die Modelle oft in affirmativer Sprache falsche Lösungen präsentierten, ohne Unsicherheit oder Bewusstsein für die Fehler in ihrem Denkprozess zu zeigen.

Diese Studie wirft ein Licht auf die Grenzen der aktuellen KI-Technologien und zeigt, dass die bloße Skalierung bestehender Modelle und Trainingsmethoden möglicherweise nicht ausreicht, um echte mathematische Reasoning-Fähigkeiten zu entwickeln. Forscher untersuchen alternative Ansätze, um die Reasoning-Fähigkeiten von KI zu verbessern, darunter die Integration symbolischer Reasoning-Engines und die Entwicklung besserer Verifikationstechniken für Beweise.

Die Ergebnisse dieser Studie sind ein Weckruf für die KI-Forschungsgemeinschaft. Sie zeigen, dass trotz der beeindruckenden Fortschritte in der KI-Entwicklung noch erhebliche Herausforderungen bestehen, insbesondere wenn es darum geht, die Fähigkeiten dieser Modelle auf komplexere und anspruchsvollere Aufgaben zu erweitern. Die Zukunft der KI könnte in der Kombination von neuronalen Netzwerken mit symbolischen Methoden liegen, um eine tiefere und robustere Form des Reasonings zu erreichen.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!