MÜNCHEN (IT BOLTWISE) – Ein weiterer Mitstreiter im Bereich Stimmklonung erscheint auf der Bildfäche: Open-Source-Lösung “OpenVoice” von MyShell.
Start-ups wie das als Unicorn geltende ElevenLabs, welches mit einem beeindruckenden Investment von 80 Millionen Dollar und einer Gesamtfinanzierung von 101 Millionen Dollar von führenden Investoren wie Andreessen Horowitz unterstützt wird, haben bereits massiv in die Entwicklung proprietärer Algorithmen und KI-Software für Stimmklonung investiert. In diesem dynamischen Markt stellt nun MyShell mit OpenVoice, entwickelt von Forschern des Massachusetts Institute of Technology (MIT), der Tsinghua-Universität in Peking und MyShell selbst, eine innovative Lösung vor. OpenVoice, ein Open-Source-Modell für Stimmklonung, bietet fast sofortige Ergebnisse und eine Detailkontrolle, die bei anderen Plattformen, einschließlich jenen von etablierten Playern wie ElevenLabs, fehlt.
MyShell beschreibt auf seinem offiziellen Unternehmensaccount: „Klone Stimmen mit unvergleichlicher Präzision, kontrolliere jeden Ton, von Emotionen bis hin zu Akzent, Rhythmus, Pausen und Intonation, mit nur einer kleinen Audioaufnahme.“ Zusätzlich veröffentlichte das Unternehmen einen Link zu seinem Forschungspapier und verschiedene Zugriffsmöglichkeiten auf OpenVoice, darunter die MyShell-Webanwendung und HuggingFace.
Zengyi Qin, einer der führenden Forscher bei MIT und MyShell, betont via E-Mail an VentureBeat: „MyShell möchte die gesamte Forschungsgemeinschaft unterstützen. OpenVoice ist erst der Anfang. In Zukunft werden wir sogar Stipendien, Daten und Rechenleistung zur Unterstützung der Open-Source-Forschungsgemeinschaft bereitstellen. Unser Leitmotiv ist ‘KI für Alle’.”
Die Entwicklung von OpenVoice
In meinen eigenen Tests mit dem neuen Stimmklonungsmodell auf HuggingFace konnte ich schnell, in Sekunden, eine relativ überzeugende, wenn auch etwas roboterartige, Klonung meiner eigenen Stimme erzeugen. Anders als bei anderen Stimmklonungs-Apps musste ich keinen spezifischen Text vorlesen. Ein paar Sekunden freies Sprechen reichten, und das Modell erzeugte eine Stimmklonung, die ich sofort abspielen und anpassen konnte.
Die wissenschaftliche Arbeit der vier Erfinder von OpenVoice – Qin, Wenliang Zhao und Xumin Yu von der Tsinghua-Universität sowie Xin Sun von MyShell – beschreibt ihren Ansatz zur Schaffung des KI-Modells. OpenVoice besteht aus zwei verschiedenen KI-Modellen: einem Text-to-Speech (TTS)-Modell und einem „Tonkonverter“. Das TTS-Modell steuert die „Stilparameter und Sprachen“ und wurde anhand von 30.000 Sätzen von Sprechern aus verschiedenen Sprachen trainiert, während der Tonkonverter auf über 300.000 Audioaufnahmen von mehr als 20.000 verschiedenen Sprechern trainiert wurde.
Die Autoren erklären: „Wir wollten das flexibelste Stimmklonungsmodell entwickeln. Flexibilität bedeutet hier die Kontrolle über Stile/Emotionen/Akzent und die Anpassung an jede Sprache. Niemand konnte dies zuvor tun, da es zu schwierig ist. Wir haben eine elegante Methode gefunden, die schwierige Aufgabe in machbare Teilaufgaben zu zerlegen.“
Wer steht hinter OpenVoice?
MyShell, gegründet 2023 mit einer Seed-Finanzierung von 5,6 Millionen Dollar, geleitet von INCE Capital und unterstützt von weiteren Investoren, zählt bereits über 400.000 Nutzer, so The Saas News. Die Start-up-Beschreibung lautet: „Eine dezentralisierte und umfassende Plattform für die Entdeckung, Erstellung und das Staking von KI-nativen Apps.“
Neben OpenVoice bietet die Webanwendung des Unternehmens eine Vielzahl von textbasierten KI-Charakteren und Bots mit unterschiedlichen „Persönlichkeiten“ sowie einen animierten GIF-Ersteller und benutzergenerierte textbasierte RPGs. Die Frage, wie MyShell mit OpenVoice, das Open Source ist, Geld verdienen will, beantwortet sich durch die monatliche Abonnementgebühr für Nutzer seiner Web-App sowie Gebühren für KI-Trainingsdaten.
- Die Zukunft von Mensch und MaschineIm neuen Buch des renommierten Zukunftsforschers und Technologie-Visionärs Ray Kurzweil wird eine faszinierende Vision der kommenden Jahre und Jahrzehnte entworfen – eine Welt, die von KI durchdrungen sein wird
- Künstliche Intelligenz: Expertenwissen gegen Hysterie Der renommierte Gehirnforscher, Psychiater und Bestseller-Autor Manfred Spitzer ist ein ausgewiesener Experte für neuronale Netze, auf denen KI aufbaut
- Obwohl Künstliche Intelligenz (KI) derzeit in aller Munde ist, setzen bislang nur wenige Unternehmen die Technologie wirklich erfolgreich ein
- Wie funktioniert Künstliche Intelligenz (KI) und gibt es Parallelen zum menschlichen Gehirn? Was sind die Gemeinsamkeiten von natürlicher und künstlicher Intelligenz, und was die Unterschiede? Ist das Gehirn nichts anderes als ein biologischer Computer? Was sind Neuronale Netze und wie kann der Begriff Deep Learning einfach erklärt werden?Seit der kognitiven Revolution Mitte des letzten Jahrhunderts sind KI und Hirnforschung eng miteinander verflochten
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Open-Source-KI für Stimmklonung: MyShell präsentiert neues OpenVoice-Modell" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.