Open-Source-KI für Stimmklonung: MyShell präsentiert neues OpenVoice-Modell

MÜNCHEN (IT BOLTWISE) – Ein weiterer Mitstreiter im Bereich Stimmklonung erscheint auf der Bildfäche: Open-Source-Lösung „OpenVoice“ von MyShell.

Start-ups wie das als Unicorn geltende ElevenLabs, welches mit einem beeindruckenden Investment von 80 Millionen Dollar und einer Gesamtfinanzierung von 101 Millionen Dollar von führenden Investoren wie Andreessen Horowitz unterstützt wird, haben bereits massiv in die Entwicklung proprietärer Algorithmen und KI-Software für Stimmklonung investiert. In diesem dynamischen Markt stellt nun MyShell mit OpenVoice, entwickelt von Forschern des Massachusetts Institute of Technology (MIT), der Tsinghua-Universität in Peking und MyShell selbst, eine innovative Lösung vor. OpenVoice, ein Open-Source-Modell für Stimmklonung, bietet fast sofortige Ergebnisse und eine Detailkontrolle, die bei anderen Plattformen, einschließlich jenen von etablierten Playern wie ElevenLabs, fehlt.

MyShell beschreibt auf seinem offiziellen Unternehmensaccount: „Klone Stimmen mit unvergleichlicher Präzision, kontrolliere jeden Ton, von Emotionen bis hin zu Akzent, Rhythmus, Pausen und Intonation, mit nur einer kleinen Audioaufnahme.“ Zusätzlich veröffentlichte das Unternehmen einen Link zu seinem Forschungspapier und verschiedene Zugriffsmöglichkeiten auf OpenVoice, darunter die MyShell-Webanwendung und HuggingFace.

Zengyi Qin, einer der führenden Forscher bei MIT und MyShell, betont via E-Mail an VentureBeat: „MyShell möchte die gesamte Forschungsgemeinschaft unterstützen. OpenVoice ist erst der Anfang. In Zukunft werden wir sogar Stipendien, Daten und Rechenleistung zur Unterstützung der Open-Source-Forschungsgemeinschaft bereitstellen. Unser Leitmotiv ist ‚KI für Alle‘.“

Die Entwicklung von OpenVoice
In meinen eigenen Tests mit dem neuen Stimmklonungsmodell auf HuggingFace konnte ich schnell, in Sekunden, eine relativ überzeugende, wenn auch etwas roboterartige, Klonung meiner eigenen Stimme erzeugen. Anders als bei anderen Stimmklonungs-Apps musste ich keinen spezifischen Text vorlesen. Ein paar Sekunden freies Sprechen reichten, und das Modell erzeugte eine Stimmklonung, die ich sofort abspielen und anpassen konnte.

Die wissenschaftliche Arbeit der vier Erfinder von OpenVoice – Qin, Wenliang Zhao und Xumin Yu von der Tsinghua-Universität sowie Xin Sun von MyShell – beschreibt ihren Ansatz zur Schaffung des KI-Modells. OpenVoice besteht aus zwei verschiedenen KI-Modellen: einem Text-to-Speech (TTS)-Modell und einem „Tonkonverter“. Das TTS-Modell steuert die „Stilparameter und Sprachen“ und wurde anhand von 30.000 Sätzen von Sprechern aus verschiedenen Sprachen trainiert, während der Tonkonverter auf über 300.000 Audioaufnahmen von mehr als 20.000 verschiedenen Sprechern trainiert wurde.

Die Autoren erklären: „Wir wollten das flexibelste Stimmklonungsmodell entwickeln. Flexibilität bedeutet hier die Kontrolle über Stile/Emotionen/Akzent und die Anpassung an jede Sprache. Niemand konnte dies zuvor tun, da es zu schwierig ist. Wir haben eine elegante Methode gefunden, die schwierige Aufgabe in machbare Teilaufgaben zu zerlegen.“

Wer steht hinter OpenVoice?
MyShell, gegründet 2023 mit einer Seed-Finanzierung von 5,6 Millionen Dollar, geleitet von INCE Capital und unterstützt von weiteren Investoren, zählt bereits über 400.000 Nutzer, so The Saas News. Die Start-up-Beschreibung lautet: „Eine dezentralisierte und umfassende Plattform für die Entdeckung, Erstellung und das Staking von KI-nativen Apps.“

Neben OpenVoice bietet die Webanwendung des Unternehmens eine Vielzahl von textbasierten KI-Charakteren und Bots mit unterschiedlichen „Persönlichkeiten“ sowie einen animierten GIF-Ersteller und benutzergenerierte textbasierte RPGs. Die Frage, wie MyShell mit OpenVoice, das Open Source ist, Geld verdienen will, beantwortet sich durch die monatliche Abonnementgebühr für Nutzer seiner Web-App sowie Gebühren für KI-Trainingsdaten.

Hinweis: Teile dieses Textes könnten mithilfe Künstlicher Intelligenz generiert worden sein.