HART: Eine neue Ära der Bildgenerierung durch KI

MÜNCHEN (IT BOLTWISE) – Die Entwicklung von KI-Technologien schreitet rasant voran, insbesondere im Bereich der Bildgenerierung. Ein bemerkenswerter Fortschritt ist die Einführung von HART, einem hybriden Modell, das die Stärken von autoregressiven und Diffusionsmodellen vereint.

Die Fähigkeit, qualitativ hochwertige Bilder schnell zu generieren, ist entscheidend für die Erstellung realistischer Simulationsumgebungen. Diese können beispielsweise genutzt werden, um selbstfahrende Autos zu trainieren, unvorhersehbare Gefahren zu vermeiden und somit die Sicherheit auf den Straßen zu erhöhen. Doch die gängigen generativen KI-Techniken, die zur Bildproduktion eingesetzt werden, haben ihre Schwächen. Diffusionsmodelle, die für ihre beeindruckende Bildqualität bekannt sind, sind oft zu langsam und ressourcenintensiv für viele Anwendungen.

Im Gegensatz dazu sind autoregressive Modelle, die auch in Sprachmodellen wie ChatGPT verwendet werden, deutlich schneller, erzeugen jedoch oft Bilder von geringerer Qualität, die mit Fehlern behaftet sind. Forscher von MIT und NVIDIA haben nun einen neuen Ansatz entwickelt, der die Vorteile beider Methoden kombiniert. Ihr hybrides Bildgenerierungswerkzeug, bekannt als HART, nutzt ein autoregressives Modell, um schnell das Gesamtbild zu erfassen, und ein kleines Diffusionsmodell, um die Details des Bildes zu verfeinern.

HART kann Bilder erzeugen, die in ihrer Qualität den besten Diffusionsmodellen entsprechen oder diese sogar übertreffen, und das etwa neunmal schneller. Der Generierungsprozess verbraucht weniger Rechenressourcen als herkömmliche Diffusionsmodelle, was es ermöglicht, HART lokal auf einem handelsüblichen Laptop oder Smartphone auszuführen. Ein Benutzer muss lediglich einen natürlichen Sprachbefehl in die HART-Oberfläche eingeben, um ein Bild zu generieren.

Die Anwendungsmöglichkeiten von HART sind vielfältig. So könnte es Forschern helfen, Roboter zu trainieren, komplexe Aufgaben in der realen Welt zu bewältigen, oder Designern dabei unterstützen, eindrucksvolle Szenen für Videospiele zu erstellen. „Wenn man eine Landschaft malt und zunächst das gesamte Bild auf einmal malt, sieht es möglicherweise nicht sehr gut aus. Aber wenn man das Gesamtbild malt und dann mit kleineren Pinselstrichen verfeinert, könnte das Gemälde viel besser aussehen. Das ist die Grundidee von HART“, erklärt Haotian Tang, einer der Hauptautoren der neuen Studie zu HART.

Während der Entwicklung von HART standen die Forscher vor der Herausforderung, das Diffusionsmodell effektiv zu integrieren, um das autoregressive Modell zu verbessern. Sie stellten fest, dass die Einbindung des Diffusionsmodells in die frühen Phasen des autoregressiven Prozesses zu einer Fehlerakkumulation führte. Stattdessen verbesserte das endgültige Design, bei dem das Diffusionsmodell nur Residual-Tokens als letzten Schritt vorhersagt, die Generierungsqualität erheblich.

Ihr Ansatz, der eine Kombination aus einem autoregressiven Transformermodell mit 700 Millionen Parametern und einem leichten Diffusionsmodell mit 37 Millionen Parametern verwendet, kann Bilder von derselben Qualität erzeugen wie ein Diffusionsmodell mit 2 Milliarden Parametern, jedoch etwa neunmal schneller. Es benötigt etwa 31 Prozent weniger Rechenleistung als die modernsten Modelle.

Da HART ein autoregressives Modell verwendet, das den Großteil der Arbeit erledigt – derselbe Modelltyp, der auch Sprachmodelle antreibt – ist es besser geeignet, in die neue Klasse von einheitlichen visuell-sprachlichen generativen Modellen integriert zu werden. In Zukunft könnte man mit einem solchen Modell interagieren, indem man es beispielsweise auffordert, die Zwischenschritte zu zeigen, die erforderlich sind, um ein Möbelstück zusammenzubauen.

Die Forscher planen, diesen Weg weiter zu verfolgen und visuell-sprachliche Modelle auf der HART-Architektur aufzubauen. Da HART skalierbar und auf mehrere Modalitäten übertragbar ist, möchten sie es auch für die Videogenerierung und Audiovorhersageaufgaben einsetzen.

Zu den Top-Stories!

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!

Angebot

1.958 Bewertungen

EIlik - Ein Desktop-Begleitroboter mit emotionaler Intelligenz, Multi-Roboter-Interaktionen, Desktop-Robotik-Partner

• NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.

169,00 EUR

Bei Amazon kaufen