SAN DIEGO / MÜNCHEN (IT BOLTWISE) – In der Welt der Künstlichen Intelligenz (KI) gibt es ständig neue Herausforderungen und Benchmarks, die den Fortschritt der Technologie messen sollen. Ein aktueller Trend ist die Nutzung von Videospielen, um die Leistungsfähigkeit von KI-Modellen zu testen. Während Pokémon lange als anspruchsvoller Maßstab galt, hat sich nun Super Mario Bros. als noch herausfordernder erwiesen.
Die Forscher des Hao AI Lab an der University of California San Diego haben kürzlich ein Experiment durchgeführt, bei dem sie verschiedene KI-Modelle in Echtzeit-Spielen von Super Mario Bros. getestet haben. Dabei schnitt Anthropic’s Claude 3.7 am besten ab, gefolgt von Claude 3.5. Im Gegensatz dazu hatten Google’s Gemini 1.5 Pro und OpenAI’s GPT-4o Schwierigkeiten, sich in der virtuellen Welt zu behaupten.
Es handelte sich jedoch nicht um die originale Version des Spiels aus dem Jahr 1985. Stattdessen wurde das Spiel in einem Emulator ausgeführt, der mit einem speziellen Framework namens GamingAgent integriert war. Dieses Framework, das von Hao intern entwickelt wurde, ermöglichte es den KI-Modellen, Mario zu steuern, indem es ihnen grundlegende Anweisungen und In-Game-Screenshots zur Verfügung stellte.
Interessanterweise stellte sich heraus, dass sogenannte „Reasoning“-Modelle, die Probleme Schritt für Schritt durchdenken, schlechter abschnitten als „Non-Reasoning“-Modelle, obwohl sie in der Regel bei den meisten Benchmarks besser abschneiden. Ein Hauptgrund dafür ist, dass Reasoning-Modelle länger brauchen, um Entscheidungen zu treffen, was in Echtzeit-Spielen wie Super Mario Bros. von Nachteil ist, da Timing entscheidend ist.
Die Nutzung von Spielen zur Bewertung von KI ist nicht neu. Seit Jahrzehnten dienen sie als Testumgebung für neue Technologien. Dennoch gibt es Experten, die die Aussagekraft solcher Benchmarks in Frage stellen. Spiele sind oft abstrakt und relativ einfach im Vergleich zur realen Welt und bieten eine theoretisch unendliche Menge an Daten, um KI zu trainieren.
Andrej Karpathy, ein Forschungswissenschaftler und Gründungsmitglied von OpenAI, spricht in diesem Zusammenhang von einer „Evaluationskrise“. Er betont, dass es derzeit schwierig sei, die tatsächliche Leistungsfähigkeit von KI-Modellen zu bewerten, da es an klaren Metriken fehlt.
Obwohl die Ergebnisse solcher Tests nicht immer direkt auf reale Anwendungen übertragbar sind, bieten sie dennoch wertvolle Einblicke in die Fähigkeiten und Grenzen aktueller KI-Technologien. Die Beobachtung, wie KI-Modelle in der Lage sind, komplexe Manöver in einem Spiel wie Super Mario Bros. zu planen und auszuführen, könnte wichtige Hinweise für zukünftige Entwicklungen in der KI-Forschung liefern.
- NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- Service Directory für AI Adult Services erkunden!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
Stellenangebote
Content Specialist in B2B für Software & KI | Teilzeit (m/w/d)
Software Engineer / Softwareentwickler (w/m/d) Schwerpunkt Künstliche Intelligenz
You live in Berlin: Senior Fullstack & Unity Developer (Gen AI, AR)
Mitarbeiter/in Vertriebsinnendienst Artificial Intelligence (m/w/d)
- Die Zukunft von Mensch und MaschineIm neuen Buch des renommierten Zukunftsforschers und Technologie-Visionärs Ray Kurzweil wird eine faszinierende Vision der kommenden Jahre und Jahrzehnte entworfen – eine Welt, die von KI durchdrungen sein wird
- Künstliche Intelligenz: Expertenwissen gegen Hysterie Der renommierte Gehirnforscher, Psychiater und Bestseller-Autor Manfred Spitzer ist ein ausgewiesener Experte für neuronale Netze, auf denen KI aufbaut
- Obwohl Künstliche Intelligenz (KI) derzeit in aller Munde ist, setzen bislang nur wenige Unternehmen die Technologie wirklich erfolgreich ein
- Wie funktioniert Künstliche Intelligenz (KI) und gibt es Parallelen zum menschlichen Gehirn? Was sind die Gemeinsamkeiten von natürlicher und künstlicher Intelligenz, und was die Unterschiede? Ist das Gehirn nichts anderes als ein biologischer Computer? Was sind Neuronale Netze und wie kann der Begriff Deep Learning einfach erklärt werden?Seit der kognitiven Revolution Mitte des letzten Jahrhunderts sind KI und Hirnforschung eng miteinander verflochten
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Super Mario als neuer Maßstab für KI-Entwicklung" für unsere Leser?
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Super Mario als neuer Maßstab für KI-Entwicklung" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die deutsche Google-Suchmaschine für eine weitere Themenrecherche: »Super Mario als neuer Maßstab für KI-Entwicklung« bei Google Deutschland suchen und bei Google News recherchieren!