Stability AI veröffentlicht Stable Audio Open: KI generiert Sounds und Lieder

MÜNCHEN (IT BOLTWISE) – Stability AI, bekannt durch den KI-gesteuerten Kunstgenerator Stable Diffusion, hat ein offenes KI-Modell zur Generierung von Sounds und Musik veröffentlicht, das angeblich ausschließlich mit lizenzfreien Aufnahmen trainiert wurde.

Stability AI, das Startup hinter dem KI-gesteuerten Kunstgenerator Stable Diffusion, hat ein neues KI-Modell namens Stable Audio Open veröffentlicht, das Sounds und Lieder erzeugen kann. Dieses Modell wurde ausschließlich mit lizenzfreien Aufnahmen trainiert und nimmt eine Textbeschreibung (z.B. „Rock-Beat gespielt in einem behandelten Studio, Session-Schlagzeug auf einem akustischen Kit“) entgegen, um eine Aufnahme von bis zu 47 Sekunden Länge zu erzeugen. Das Modell wurde mit rund 486.000 Samples aus freien Musikbibliotheken wie FreeSound und dem Free Music Archive trainiert.

Stability AI erklärt, dass das Modell verwendet werden kann, um Drum-Beats, Instrumentalriffs, Umgebungsgeräusche und „Produktionselemente“ für Videos, Filme und Fernsehsendungen zu erstellen, sowie um bestehende Songs zu „bearbeiten“ oder den Stil eines Songs (z.B. Smooth Jazz) auf einen anderen anzuwenden.

„Ein wesentlicher Vorteil dieser Open-Source-Veröffentlichung ist, dass Nutzer das Modell mit ihren eigenen Audiodaten feinabstimmen können“, schrieb Stability AI in einem Beitrag auf seinem Firmenblog. „Ein Schlagzeuger könnte zum Beispiel Samples seiner eigenen Schlagzeugaufnahmen verwenden, um neue Beats zu generieren.“

Stable Audio Open hat jedoch seine Einschränkungen. Es kann keine vollständigen Lieder, Melodien oder Gesang produzieren – zumindest keine guten. Stability AI sagt, dass es nicht dafür optimiert ist und schlägt vor, dass Nutzer, die diese Fähigkeiten suchen, den Premium-Dienst Stable Audio des Unternehmens nutzen sollten.

Stable Audio Open kann auch nicht kommerziell genutzt werden; die Nutzungsbedingungen verbieten dies. Außerdem funktioniert es nicht gleich gut in allen Musikstilen und Kulturen oder mit Beschreibungen in anderen Sprachen als Englisch – Biases, die Stability AI auf die Trainingsdaten zurückführt.

„Die Datenquelle ist potenziell nicht vielfältig und alle Kulturen sind im Datensatz nicht gleich vertreten“, schreibt Stability AI in einer Beschreibung des Modells. „Die generierten Samples aus dem Modell werden die Biases der Trainingsdaten widerspiegeln.“

Stability AI – das seit langem Schwierigkeiten hat, sein ins Stocken geratenes Geschäft wiederzubeleben – geriet kürzlich in die Kritik, nachdem sein VP für generative Audio, Ed Newton-Rex, zurückgetreten war, weil er mit der Haltung des Unternehmens, dass das Training von generativen KI-Modellen mit urheberrechtlich geschütztem Material „Fair Use“ sei, nicht übereinstimmte. Stable Audio Open scheint ein Versuch zu sein, diese Erzählung zu ändern und gleichzeitig subtil für die kostenpflichtigen Produkte von Stability AI zu werben.

Während Musikgeneratoren wie die von Stability AI an Popularität gewinnen, rückt das Thema Urheberrecht – und die möglichen Missbräuche einiger Ersteller von Generatoren – immer mehr in den Fokus.

Im Mai sandte Sony Music, das Künstler wie Billy Joel, Doja Cat und Lil Nas X vertritt, einen Brief an 700 KI-Unternehmen, in dem vor der „unbefugten Nutzung“ seiner Inhalte zur Schulung von Audiogeneratoren gewarnt wurde. Und im März wurde in Tennessee das erste Gesetz der USA verabschiedet, das darauf abzielt, Missbräuche von KI in der Musik einzudämmen.