Neuer AGI-Test stellt KI-Modelle vor Herausforderungen

MÜNCHEN (IT BOLTWISE) – Die ARC Prize Foundation hat kürzlich einen neuen Test veröffentlicht, der die Grenzen aktueller KI-Modelle aufzeigt. Während Menschen diese Aufgaben mit relativer Leichtigkeit lösen, stoßen selbst fortschrittliche KI-Systeme an ihre Grenzen.

Die ARC Prize Foundation hat mit dem ARC-AGI-2-Test einen neuen Maßstab für die Bewertung der allgemeinen künstlichen Intelligenz (AGI) gesetzt. Dieser Test fordert KI-Modelle heraus, indem er Aufgaben stellt, die an klassische Intelligenztests erinnern. So müssen beispielsweise geometrische Figuren nach bestimmten Kriterien farblich zugeordnet oder zusammengesetzt werden. Diese Aufgaben sind für Menschen mit etwas Nachdenken gut lösbar, wie eine Kontrollgruppe von über 400 Probanden zeigte, von denen rund 60 Prozent erfolgreich waren.

Im Gegensatz dazu scheiterten die getesteten KI-Modelle kläglich. Modelle wie o1 von OpenAI und R1 von DeepSeek erreichten lediglich Erfolgsquoten von 1 Prozent beziehungsweise 1,3 Prozent. Auch andere Modelle wie GPT-4.5, Claude 3.7 Sonnet oder Gemini 2.0 Flash konnten den Test nur zu 1 Prozent bestehen. Diese Ergebnisse verdeutlichen die Herausforderungen, vor denen die KI-Entwicklung steht, insbesondere wenn es darum geht, die Flexibilität und Anpassungsfähigkeit menschlicher Intelligenz zu erreichen.

Der ARC-AGI-2-Test ist der Nachfolger des ARC-AGI-1, der im Jahr 2019 eingeführt wurde. Damals wurde ein Preisgeld von einer Million US-Dollar für die Lösung des Tests ausgelobt, wobei eine Erfolgsquote von 85 Prozent gefordert war. Trotz eines Leistungssprungs von 33 auf 55,5 Prozent bis Ende 2024 konnte das Ziel nicht erreicht werden. Die Schwächen des alten Datensatzes führten zur Entwicklung des neuen Tests, der nun auch die Effizienz der Problemlösung als Kriterium einbezieht.

Effizienz ist ein entscheidender Faktor bei der Bewertung von KI-Systemen. Greg Kamradt, einer der Gründer der ARC Prize Foundation, betont, dass Intelligenz nicht nur durch die Fähigkeit, Probleme zu lösen, definiert wird, sondern auch durch die Effizienz, mit der diese Fähigkeiten erworben und eingesetzt werden. Der neue Test fordert daher nicht nur eine hohe Lösungsquote, sondern auch eine kosteneffiziente Durchführung der Aufgaben, wobei 42 US-Cent pro Aufgabe angestrebt werden.

Die Ergebnisse des ARC-AGI-2-Tests werfen ein Licht auf die aktuellen Grenzen der KI-Entwicklung. Während Fortschritte in der KI-Technologie unbestreitbar sind, zeigt dieser Test, dass es noch ein weiter Weg ist, bis Maschinen die Flexibilität und Anpassungsfähigkeit des menschlichen Geistes erreichen. Die Herausforderungen, die sich aus diesen Tests ergeben, bieten jedoch auch Chancen für Innovationen und Weiterentwicklungen im Bereich der künstlichen Intelligenz.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!