Neue Maßstäbe für Künstliche Intelligenz: ARC-AGI-2 Benchmark

MÜNCHEN (IT BOLTWISE) – Die neuesten Entwicklungen im Bereich der Künstlichen Intelligenz zeigen, dass selbst die fortschrittlichsten Modelle noch weit von einer echten allgemeinen Intelligenz entfernt sind. Ein neuer Benchmark, ARC-AGI-2, stellt die Fähigkeiten dieser Modelle auf die Probe und offenbart erhebliche Herausforderungen.

Die Künstliche Intelligenz hat in den letzten Jahren bemerkenswerte Fortschritte gemacht, doch der Weg zur allgemeinen Intelligenz bleibt steinig. Der neue Benchmark ARC-AGI-2 zeigt, dass selbst die fortschrittlichsten Modelle wie OpenAI’s o3-low noch weit von diesem Ziel entfernt sind. Während das Modell auf dem vorherigen Test ARC-AGI-1 beeindruckende 75,7 Prozent erreichte, fällt es bei ARC-AGI-2 mit nur 4 Prozent deutlich ab.

ARC-AGI-2 legt den Fokus auf die Fähigkeit der Modelle, einfache Aufgaben effizient zu lösen. Diese Aufgaben erfordern eine hohe Anpassungsfähigkeit und Effizienz, was die Modelle vor neue Herausforderungen stellt. Im Gegensatz zu früheren Tests, die sich auf tiefes Lernen konzentrierten, verlangt ARC-AGI-2 von den Modellen, dass sie symbolische Interpretationen und Veränderungen in Bildern nachvollziehen können.

Ein weiterer Aspekt des neuen Benchmarks ist die Berücksichtigung der Effizienz in der Problemlösung. Während menschliche Tester für ihre Aufgaben 17 US-Dollar erhielten, kostet die gleiche Aufgabe bei OpenAI’s Modell o3-low etwa 200 US-Dollar. Diese Diskrepanz zeigt, dass die Effizienz der Modelle ein entscheidender Faktor für ihre Bewertung ist.

Experten wie Joseph Imperial von der University of Bath sehen in der neuen Ausrichtung des Benchmarks einen wichtigen Schritt hin zu einer realistischeren Bewertung von KI-Modellen. Die Fokussierung auf Effizienz und Anpassungsfähigkeit könnte helfen, die zunehmende Energieintensität der Modelle zu adressieren und nachhaltigere Lösungen zu fördern.

Allerdings gibt es auch kritische Stimmen. Catherine Flick von der University of Staffordshire argumentiert, dass diese Tests nicht die Intelligenz der Modelle messen, sondern lediglich ihre Fähigkeit, spezifische Aufgaben zu lösen. Die extrapolierte Annahme, dass dies auf allgemeine Fähigkeiten hinweist, sei irreführend.

Die Frage, was passiert, wenn ARC-AGI-2 bestanden wird, bleibt offen. Möglicherweise wird ein weiterer Benchmark, ARC-AGI-3, entwickelt, der zusätzliche Dimensionen wie die Anzahl der benötigten menschlichen Experten einbezieht. Die Debatte über die Definition und das Erreichen von AGI wird wohl noch lange andauern.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!