Meta präsentiert neue KI-Tools zur Verbesserung taktiler Wahrnehmung in der Robotik

MÜNCHEN (IT BOLTWISE) – Meta präsentiert neue KI-Tools, die Robotern helfen, die physische Welt besser zu verstehen und mit ihr zu interagieren. Die Veröffentlichung von Sparsh, Digit 360 und Digit Plexus soll die Mensch-Roboter-Interaktion maßgeblich verbessern.

Meta hat diese Woche mehrere bedeutende Ankündigungen zur Robotik und „Embodied AI“ gemacht, darunter auch Benchmarks und Artefakte zur Verbesserung der Robotik in der physischen Welt. Zu den neu vorgestellten Innovationen zählen die Modelle Sparsh, Digit 360 und Digit Plexus, die alle auf taktile Wahrnehmung, Geschicklichkeit von Robotern und eine engere Mensch-Roboter-Interaktion abzielen. Außerdem bringt Meta PARTNR, ein Benchmark-Tool zur Bewertung der Planungs- und Entscheidungsfähigkeiten in der Mensch-Roboter-Kollaboration.

Meta setzt zunehmend auf die Anwendung von Large Language Models (LLMs) und Vision-Language Models (VLMs), um Robotern komplexe Aufgaben, die Planung und Problemlösung erfordern, zu ermöglichen.

Taktile Wahrnehmung mit Sparsh

Das Sparsh-Modell, das in Zusammenarbeit mit der University of Washington und der Carnegie Mellon University entwickelt wurde, stellt eine Familie von Encoder-Modellen zur taktilen Wahrnehmung dar. Diese Technologie ermöglicht Robotern eine berührungsbasierte Wahrnehmung, wie die Fähigkeit, den richtigen Druck auf Objekte auszuüben. Sparsh wird mithilfe von selbstüberwachtem Lernen (SSL) trainiert, wodurch der Bedarf an umfangreichen, manuell etikettierten Daten entfällt. Derzeit wurde das Modell mit mehr als 460.000 taktilen Bildern, gesammelt aus diversen Datensätzen, trainiert. Sparsh zeigt eine 95,1%ige Verbesserung gegenüber herkömmlichen End-to-End-Modellen, die jeweils nur für spezifische Aufgaben und Sensoren geeignet sind.

Der neue Tastsensor Digit 360

Meta stellt auch die Hardware Digit 360 vor – ein künstlicher, fingerförmiger Tastsensor, der über 18 verschiedene Sensormerkmale und 8 Millionen Taxels verfügt. Dieser Sensor ermöglicht Robotern eine omnidirektionale und hochdetaillierte Berührungserkennung. Die KI-Modelle sind direkt auf dem Sensor integriert, wodurch die Datenverarbeitung lokal stattfindet und Latenzzeiten minimiert werden. Diese Technologie findet Anwendungspotenziale in Bereichen wie Medizin, Prothetik, Virtual Reality und Telepräsenz.

Zusätzlich zu Digit 360 führt Meta Digit Plexus ein, eine Plattform, die mehrere Tastsensoren integriert und die erhobenen Daten effizient an einen Computer überträgt. Die Open-Source-Freigabe von Code und Design für beide Produkte zielt darauf ab, Forschung und Innovation in der Robotikgemeinschaft zu fördern.

Evaluierung der Mensch-Roboter-Interaktion

Mit PARTNR stellt Meta eine Benchmark-Umgebung vor, die die Zusammenarbeit zwischen Menschen und Robotern in häuslichen Aufgaben analysiert. PARTNR nutzt 100.000 Sprachaufgaben in einer simulierten Umgebung und umfasst mehr als 5.800 einzigartige Objekte. Dies soll die Leistungsfähigkeit von LLMs und VLMs in der Befolgung menschlicher Anweisungen bewerten. Die Benchmark reiht sich in eine wachsende Zahl von Projekten ein, die den Einsatz von Sprachmodellen in der Robotik vorantreiben.

Mit diesen Entwicklungen hofft Meta, die Robotik einen Schritt näher an eine fließende Mensch-Roboter-Interaktion zu bringen und setzt damit auf eine Zukunft, in der Roboter komplexe Aufgaben in realen Umgebungen bewältigen können.