Diffusionstransformatoren: Ein Durchbruch für skalierbare GenKI-Modelle – die Technologie hinter OpenAIs Sora

MÜNCHEN (IT BOLTWISE) – OpenAIs Sora, das Videos und interaktive 3D-Umgebungen in Echtzeit generieren kann, ist ein beeindruckender Beweis für die Spitzenleistung in der generativen Künstlichen Intelligenz (GenKI) – ein echter Meilenstein.

OpenAI hat mit Sora einen bemerkenswerten Fortschritt in der GenKI erzielt, der auf einer KI-Modellarchitektur basiert, die umgangssprachlich als Diffusionstransformator bekannt ist. Diese Technologie, die auch die neueste Bildgenerierung von Stability AI, Stable Diffusion 3.0, antreibt, steht kurz davor, das Feld der GenKI durch die Ermöglichung von Skalierungen über bisherige Grenzen hinaus zu revolutionieren. Saining Xie, Professor für Informatik an der NYU, leitete das Forschungsprojekt, das den Diffusionstransformator hervorbrachte, im Juni 2022. Gemeinsam mit William Peebles, seinem Mentee während dessen Praktikum im KI-Forschungslabor von Meta und jetzt Co-Leiter von Sora bei OpenAI, kombinierte Xie zwei Konzepte im Maschinenlernen – Diffusion und den Transformator – um den Diffusionstransformator zu kreieren.

Moderne KI-gestützte Mediengeneratoren, einschließlich OpenAIs DALL-E 3, stützen sich auf einen Prozess, der als Diffusion bezeichnet wird, um Bilder, Videos, Sprache, Musik, 3D-Meshes, Kunstwerke und mehr auszugeben. Die Diffusionsmodelle verfügen typischerweise über ein „Rückgrat“ oder eine Art Motor, genannt U-Net. U-Nets sind komplex und können den Diffusionsprozess erheblich verlangsamen. Glücklicherweise können Transformer U-Nets ersetzen und dabei Effizienz und Leistung steigern. Transformer, die Architektur der Wahl für komplexe Denkaufgaben, stärken Modelle wie GPT-4, Gemini und ChatGPT. Ihre definierende Eigenschaft ist der „Aufmerksamkeitsmechanismus“, der für jedes Stück Eingabedaten (im Fall der Diffusion Bildrauschen) die Relevanz jedes anderen Inputs abwägt und daraus das Ausgabeergebnis generiert (eine Schätzung des Bildrauschens).

Für einen detaillierteren Einblick in die Anfangsphase von Sora und dessen innovativen Ansatz verweisen wir auf unseren früheren Artikel Ein Blick auf Sora: OpenAIs revolutionäre KI für realistische Videoproduktion.

Die Einführung von Transformern in den Diffusionsprozess markiert einen bedeutenden Sprung in Skalierbarkeit und Effektivität, insbesondere bei Modellen wie Sora, die von der Schulung auf umfangreichen Videodatenmengen profitieren und umfangreiche Modellparameter nutzen, um das transformative Potenzial von Transformern bei großem Maßstab aufzuzeigen. Die Diffusionstransformatoren sollten eine einfache Austauschmöglichkeit für bestehende Diffusionsmodelle sein, unabhängig davon, ob die Modelle Bilder, Videos, Audio oder eine andere Form von Medien generieren. Das aktuelle Verfahren zum Trainieren von Diffusionstransformatoren könnte einige Ineffizienzen und Leistungseinbußen mit sich bringen, aber dies kann langfristig angegangen werden.

Die Hauptbotschaft ist ziemlich einfach: Vergessen Sie U-Nets und wechseln Sie zu Transformern, denn sie sind schneller, funktionieren besser und sind skalierbarer. Die Vision für die Zukunft liegt in der Integration der Bereiche Inhaltsverständnis und -erstellung im Rahmen von Diffusionstransformatoren. Diese Aspekte sind derzeit wie zwei verschiedene Welten – eine für das Verständnis und eine andere für die Erstellung. Die Standardisierung der zugrundeliegenden Architekturen ist für diese Integration erforderlich, wobei Transformer ein idealer Kandidat für diesen Zweck sind.

Wenn Sora und Stable Diffusion 3.0 eine Vorschau darauf sind, was wir von Diffusionstransformatoren erwarten können, dann stehen wir vor einer spannenden Zeit.

Hinweis: Teile dieses Textes könnten mithilfe Künstlicher Intelligenz generiert worden sein.