NVIDIA enthüllt Project GR00T: Eine neue Generation humanoider Roboter mit multimodaler KI

SAN JOSE, KALIFORNIEN / MÜNCHEN (IT BOLTWISE) – NVIDIA setzt mit der Vorstellung von Project GR00T, einer multimodalen Künstlichen Intelligenz, neue Maßstäbe in der Robotik, um Humanoiden der Zukunft mit fortschrittlicher Grundlagen-KI zu betreiben.

Nvidia treibt die Entwicklung in der Robotik voran und hat mit Project GR00T eine multimodale KI vorgestellt, die Humanoiden der Zukunft mit fortschrittlicher Grundlagen-KI ausstatten soll. Vorgestellt wurde dieses Projekt während der GTC-Konferenz im San Jose McEnery Convention Center. Project GR00T nutzt ein allgemeines Grundlagenmodell, das es humanoiden Robotern ermöglicht, Text, Sprache, Videos oder sogar Live-Demonstrationen als Eingabe zu verarbeiten und daraus spezifische allgemeine Handlungen abzuleiten. Entwickelt wurde es mit Unterstützung der Werkzeuge von Nvidias Isaac Robotic Platform, einschließlich eines neuen Isaac Labs für das Reinforcement Learning.

„Die Entwicklung von Grundlagenmodellen für allgemeine humanoide Roboter ist eines der spannendsten Probleme, die es heute in der KI zu lösen gibt“, sagte Nvidia-CEO Jensen Huang. „Die erforderlichen Technologien kommen zusammen, sodass führende Robotiker weltweit bedeutende Fortschritte in Richtung einer allgemeinen Robotik machen können.“

Um Unternehmen den Einsatz von GR00T zu erleichtern, hat das Unternehmen einen speziellen Jetson Thor-Chip für Humanoide angekündigt. Zudem wurden einige bemerkenswerte Fortschritte bei der Entwicklung von KI-gesteuerten industriellen Manipulationsarmen geteilt. Doch was kann man von Nvidias Project GR00T erwarten? Der Name mag an Marvels Groot erinnern, steht aber tatsächlich für Generalist Robot 00 Technology. Nvidia zufolge wurde es entwickelt, um natürliche Sprachtexte, Sprache, Video und Live-Demonstrationen zu verstehen und menschliche Bewegungen – Koordination, Geschicklichkeit und andere Fähigkeiten – zu emulieren und allgemeine Handlungen zur Navigation, Anpassung und Interaktion mit der realen Welt zu produzieren.

Dies wird nicht nur die Fähigkeiten humanoider Roboter erweitern, sondern auch deren Entwicklung und Einsatz erheblich vereinfachen. Im Grunde können die Roboter mit Text und Demonstrationen als Eingaben von jeder Person (mit entsprechendem Zugang) programmiert werden.

In seiner GTC-Keynote demonstrierte Huang mehrere von GR00T angetriebene humanoide Roboter, die eine Vielzahl von Aufgaben erfüllten, darunter solche von Agility Robotics, Apptronik, Fourier Intelligence und Unitree Robotics. Deepu Talla, der Journalisten über GR00T informierte, merkte an, dass das Projekt die neuesten und besten Arbeiten in generativer KI und Transformatoren nutzt, ohne viel über den vollen Umfang seiner Fähigkeiten preiszugeben.

Bemerkenswerterweise arbeitet auch OpenAI, einer der prominentesten Namen im Bereich der generativen KI, an verkörperter KI und hat zwei Startups in diesem Bereich unterstützt: 1X Technologies und Figure. Kürzlich veröffentlichte Figure sogar ein Video, das zeigte, wie einer seiner Roboter mit Hilfe eines großen visionssprachlichen Modells (VLM), das vom von Sam Altman geleiteten Forschungslabor ausgebildet wurde, Routineaufgaben wie das Aufsammeln von Müll bewältigte. Beide Unternehmen arbeiten auch mit Nvidia zusammen, wie das Unternehmen bestätigte. Talla sagte, dass das Unternehmen keine zusätzlichen Details zur internen Architektur teilen kann, aber in Zukunft mehr über die Fähigkeiten teilen wird. Er merkte auch an, dass derzeit nur ausgewählte humanoide Entwickler, einschließlich der oben genannten, frühen Zugang zum Modell haben, aber sie planen, seine Verfügbarkeit bald auf weitere Humanoide und andere Verkörperungen auszuweiten.

Um sicherzustellen, dass humanoide Roboter komplexe multimodale Modelle wie GR00T ausführen können, hat Nvidia auch die Jetson Thor-Computingplattform für Humanoide eingeführt. Basierend auf dem Thor SoC des Unternehmens, umfasst der Computer eine leistungsstarke CPU-Cluster und eine GPU der nächsten Generation auf Basis der Nvidia Blackwell-Architektur mit einem Transformer-Motor, der 800 Teraflops an 8-Bit-Fließkomma-KI-Leistung liefert.

Talla sagte in dem Briefing, dass die GPU-Leistung des Systems achtmal besser sei als die der vorherigen Version, Jetson Orin, während die CPU-Leistung 2,6-mal besser sei. Neue Isaac Robotics-Tools im Kern von GR00T
Um Project GR00T zum Leben zu erwecken, griff Nvidia auf seine eigene Isaac Robotics Platform zurück, die Entwicklern eine leistungsstarke, end-to-end Plattform für die Entwicklung, Simulation und den Einsatz von KI-gesteuerten Robotern bietet.

Insbesondere sagte das Unternehmen, dass es sein brandneues Isaac Lab, basierend auf Isaac Sim, genutzt hat, um das Modell durch parallele Simulationen in einer GPU-beschleunigten virtuellen Umgebung zu testen und zu trainieren sowie den OSMO-Compute-Orchestrierungsdienst, um die Trainings- und Simulationsarbeitslasten auf Nvidia DGX und Nvidia OVX gleichzeitig zu verwalten.

Zusätzlich zu diesen Fähigkeiten erhält die Isaac Robotics Platform zwei auf spezifische Anwendungsfälle ausgerichtete Angebote – Isaac Manipulator und Isaac Perceptor.

Isaac Manipulator, wie Talla erklärte, bietet GPU-beschleunigte Bibliotheken und dedizierte Grundlagenmodelle, um Roboterarmherstellern zu helfen, ihre Produkte mit modernster Bewegung und Geschicklichkeit zu verbessern. Es umfasst Modelle, die auf die Erkennung von Objekten, die Schätzung ihrer 6D-Position, das Verfolgen von ihnen und sogar das Erstellen dichter Vorhersagen zum Ergreifen von ihnen ausgerichtet sind.

Der Perceptor hingegen übernimmt die Aufgabe, Roboter durch unstrukturierte Umgebungen mit Multi-Kamera, 360-Grad-Vision-Fähigkeiten zu leiten – geliefert über KI-basierte beschleunigte Algorithmen für 3D-Wahrnehmung und Rundumsicht. Nvidia bietet die Technologie über sein Nova Orin DevKit an und arbeitet bereits mit mehreren Partnern zusammen, einschließlich ArcBest, BYD und KION Group, um ihnen bei der Weiterentwicklung ihrer autonomen mobilen Roboterfunktionen in der Fertigung und Erfüllung zu helfen.

„Die Verwendung der Isaac Perceptor-Plattform in unseren Vaux Smart Autonomy AMR-Gabelstaplern und Reach Trucks ermöglicht eine bessere Wahrnehmung, semantisch bewusste Navigation und 3D-Mapping für die Hinderniserkennung in Materialhandhabungsprozessen in Lagerhäusern, Verteilzentren und Produktionsstätten“, sagte Michael Newcity, Chief Innovation Officer bei ArcBest und Präsident von ArcBest Technologies, in einer Erklärung.

Die neuen Isaac-Plattformfähigkeiten sollen im zweiten Quartal dieses Jahres verfügbar sein, während Project GR00T sich noch im frühen Zugang befindet. Nvidia nimmt Bewerbungen entgegen, um mehr humanoiden Entwicklern Zugang zur Technologie zu geben, aber der Zeitplan für eine breitere öffentliche Veröffentlichung bleibt zu diesem Zeitpunkt unklar.