Neuer AGI-Test stellt KI-Modelle vor große Herausforderungen

MÜNCHEN (IT BOLTWISE) – Die Arc Prize Foundation hat einen neuen, anspruchsvollen Test entwickelt, um die allgemeine Intelligenz führender KI-Modelle zu messen. Der Test, bekannt als ARC-AGI-2, hat bisher die meisten Modelle überfordert.

Die Arc Prize Foundation, eine von dem renommierten KI-Forscher François Chollet mitgegründete Non-Profit-Organisation, hat kürzlich einen neuen Test vorgestellt, der die allgemeine Intelligenz führender KI-Modelle auf die Probe stellt. Der Test, ARC-AGI-2 genannt, hat sich als besonders herausfordernd erwiesen und die meisten Modelle in Schwierigkeiten gebracht. Laut der Arc Prize Bestenliste erzielen „Reasoning“-Modelle wie OpenAI’s o1-pro und DeepSeek’s R1 lediglich zwischen 1% und 1,3% auf dem ARC-AGI-2. Auch leistungsstarke Nicht-Reasoning-Modelle wie GPT-4.5, Claude 3.7 Sonnet und Gemini 2.0 Flash erreichen nur etwa 1%. Der ARC-AGI-Test besteht aus rätselhaften Aufgaben, bei denen ein KI-Modell visuelle Muster aus einer Sammlung verschiedenfarbiger Quadrate erkennen und das korrekte „Antwort“-Raster generieren muss.

Diese Aufgaben wurden entwickelt, um eine KI dazu zu zwingen, sich an neue, unbekannte Probleme anzupassen. Die Arc Prize Foundation ließ über 400 Personen den ARC-AGI-2 absolvieren, um eine menschliche Basislinie zu etablieren. Im Durchschnitt erreichten diese „Panels“ 60% der Fragen richtig, was deutlich besser ist als die Ergebnisse der Modelle. In einem Beitrag auf X erklärte Chollet, dass ARC-AGI-2 eine bessere Messung der tatsächlichen Intelligenz eines KI-Modells darstellt als die erste Version des Tests, ARC-AGI-1. Die Tests der Arc Prize Foundation zielen darauf ab, zu bewerten, ob ein KI-System effizient neue Fähigkeiten außerhalb der Daten, auf denen es trainiert wurde, erwerben kann.

Chollet betonte, dass der neue Test im Gegensatz zu ARC-AGI-1 verhindert, dass KI-Modelle auf „brute force“ – also umfangreiche Rechenleistung – zurückgreifen, um Lösungen zu finden. Dies war ein wesentlicher Mangel des ARC-AGI-1, den Chollet zuvor eingeräumt hatte. Um die Schwächen des ersten Tests zu beheben, führt ARC-AGI-2 eine neue Metrik ein: Effizienz. Es erfordert auch, dass Modelle Muster spontan interpretieren, anstatt sich auf Auswendiglernen zu verlassen. „Intelligenz wird nicht nur durch die Fähigkeit definiert, Probleme zu lösen oder hohe Punktzahlen zu erzielen“, schrieb Arc Prize Foundation Mitbegründer Greg Kamradt in einem Blogbeitrag. „Die Effizienz, mit der diese Fähigkeiten erworben und eingesetzt werden, ist eine entscheidende, definierende Komponente.

Die zentrale Frage lautet nicht nur: ‚Kann KI die Fähigkeit erwerben, eine Aufgabe zu lösen?‘, sondern auch: ‚Mit welcher Effizienz oder zu welchem Preis?‘“ ARC-AGI-1 blieb etwa fünf Jahre lang ungeschlagen, bis im Dezember 2024 OpenAI sein fortgeschrittenes Reasoning-Modell o3 veröffentlichte, das alle anderen KI-Modelle übertraf und die menschliche Leistung in der Bewertung erreichte. Wie wir damals feststellten, gingen die Leistungssteigerungen von o3 auf ARC-AGI-1 jedoch mit hohen Kosten einher.

Die Version des OpenAI o3-Modells – o3 (low) – die als erste neue Höhen auf ARC-AGI-1 erreichte und 75,7% im Test erzielte, erzielte auf ARC-AGI-2 nur magere 4% und benötigte dabei 200 US-Dollar an Rechenleistung pro Aufgabe. Die Einführung von ARC-AGI-2 erfolgt zu einer Zeit, in der viele in der Technologiebranche nach neuen, ungesättigten Benchmarks zur Messung des KI-Fortschritts rufen.

Thomas Wolf, Mitbegründer von Hugging Face, sagte kürzlich gegenüber TechCrunch, dass es der KI-Branche an ausreichenden Tests fehlt, um die Schlüsselmerkmale der sogenannten allgemeinen künstlichen Intelligenz, einschließlich Kreativität, zu messen. Neben dem neuen Benchmark kündigte die Arc Prize Foundation einen neuen Arc Prize 2025-Wettbewerb an, der Entwickler herausfordert, eine Genauigkeit von 85% im ARC-AGI-2-Test zu erreichen, während sie nur 0,42 US-Dollar pro Aufgabe ausgeben.

Zu den Top-Stories!

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!

Angebot

1.958 Bewertungen

EIlik - Ein Desktop-Begleitroboter mit emotionaler Intelligenz, Multi-Roboter-Interaktionen, Desktop-Robotik-Partner

• NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.

169,00 EUR

Bei Amazon kaufen