Einführung von URHand: Ein universelles, relightbares Handmodell, das sich an verschiedene Perspektiven, Posen, Beleuchtungen und Identitäten anpasst

MÜNCHEN (IT BOLTWISE) – Forscher der Nanyang Technologischen Universität und von Meta präsentieren mit URHand ein bahnbrechendes Modell, das die Grenzen zwischen Künstlicher Intelligenz und physischer Robotik neu definiert. Dieses universelle, relightbare Handmodell eröffnet weitreichende Implikationen für die Bereiche Prothetik, Robotik und virtuelle Realität, indem es greifbare Vorteile über diverse Anwendungen hinweg aufzeigt.

Die ständige Sichtbarkeit unserer Hände in täglichen Aktivitäten unterstreicht ihre Bedeutung für das Gefühl der Selbstverkörperung. Die Herausforderung besteht darin, ein digitales Handmodell zu entwickeln, das photorealistisch, personalisiert und relightbar ist. „Relightbar“ leitet sich vom englischen „relightable“ ab, was sich auf die Fähigkeit bezieht, die Beleuchtung eines Objekts in einer digitalen Umgebung anzupassen oder neu zu simulieren. Photorealismus gewährleistet eine realistische visuelle Darstellung, Personalisierung berücksichtigt individuelle Unterschiede, und Relightbarkeit sorgt für ein kohärentes Erscheinungsbild in diversen virtuellen Umgebungen, was zu einem immersiveren und natürlicheren Nutzererlebnis beiträgt.

Das Erstellen photorealistischer, relightbarer Handmodelle umfasst zwei Hauptansätze: Physikalisch basierende Rendering-Modelle, die eine Generalisierung für verschiedene Beleuchtungen durch Offline-Path-Tracing bieten, aber oft an Echtzeit-Photorealismus mangeln und Schwierigkeiten bei der genauen Schätzung von Materialparametern haben, und Neural Relighting, das direkt Echtzeit-Photorealismus durch das Inferieren von ausgehender Strahlung erreicht, aber teure Datenanreicherung für die Generalisierung zu natürlichen Beleuchtungen benötigt. Die Generalisierung über Identitäten hinweg stellt in beiden Ansätzen eine Herausforderung dar.

Das von Forschern des Codec Avatars Lab, Meta, und der Nanyang Technologischen Universität vorgeschlagene URHand ist das erste universelle, relightbare Handmodell, das entwickelt wurde, um sich an verschiedene Blickwinkel, Bewegungen, Beleuchtungen und Identitäten anzupassen. Ihre Methode kombiniert physikalisch basiertes Rendering und datengesteuertes Erscheinungsbildmodellieren mittels Neural Relighting. Sie erzielen eine Balance zwischen Generalisierung und Treue, indem sie bekannte Physik, wie die Linearität des Lichttransports, einbeziehen und ein räumlich variables lineares Beleuchtungsmodell einführen.

Der Ansatz umfasst einen einstufigen Trainingsprozess, ermöglicht durch die Erhaltung der Linearität, und führt einen physikbasierten Verfeinerungszweig zur Schätzung von Materialparametern und hochauflösender Geometrie ein. Das Modell umfasst ein räumlich variables lineares Beleuchtungsmodell, das die Linearität des Lichttransports für die Generalisierung auf beliebige Beleuchtungen beibehält. Es besteht aus zwei parallelen Rendering-Zweigen – physikalisch und neural – die gemeinsam trainiert werden, um die Geometrie zu verbessern und genaue Schattierungsmerkmale für das endgültige Erscheinungsbild zu liefern. Der physische Zweig verwendet eine parametrische BRDF zur Geometrieverfeinerung, und der neurale Zweig setzt ein lineares Beleuchtungsmodell für das Echtzeit-Relighting ein.

Im Vergleich zu den neuesten Methoden der 3D-Handrelightung und -rekonstruktion, einschließlich RelightableHands und Handy, übertrifft URHand die Basismethoden bei der per-Identität-Schulung deutlich und zeigt die Wirksamkeit seines Designs. URHand reproduziert detaillierte Geometrie, Glanzlichter und Schatten, und übertrifft damit die Qualität anderer Methoden. Die Generalisierbarkeit von URHand ist auch bei zurückgehaltenen Testpersonen offensichtlich, wo es andere Baselines mit deutlichem Abstand übertrifft.

Zusammenfassend haben die Forscher mit URHand ein Modell eingeführt, das seine Fähigkeit beweist, sich an verschiedene Faktoren anzupassen, einschließlich Blickwinkel, Posen, Beleuchtungen und Identitäten. Ihr physikinspiriertes, räumlich variables lineares Beleuchtungsmodell und der hybride neural-physische Lernrahmen ermöglichen skalierbares Cross-Identity-Training und erreichen hochwertige relightbare Hände. Die Experimente zeigen die Anpassungsfähigkeit von URHand über Studiodaten hinaus und ermöglichen eine schnelle Personalisierung von einem Telefonscan aus.

Hinweis: Teile dieses Textes könnten mithilfe Künstlicher Intelligenz generiert worden sein.