OpenAI erweitert Realtime API mit neuen Stimmen und Preissenkung für Entwickler

MÜNCHEN (IT BOLTWISE) – OpenAI erweitert seine Realtime API mit neuen Stimmen und senkt die Kosten für Entwickler.

OpenAI hat heute die Realtime API aktualisiert, die sich derzeit in der Beta-Phase befindet. Die Plattform bietet nun fünf neue Stimmen für Sprach-zu-Sprach-Anwendungen und reduziert die Kosten durch eine innovative Caching-Methode für häufige Anfragen.

Nutzer der Realtime API-Beta können ab sofort auf fünf neue Stimmen zurückgreifen, darunter „Ash“, „Verse“ und die britisch klingende „Ballad“, wie OpenAI in einem Beitrag auf X ankündigte. Diese Stimmen sollen laut OpenAI besonders nuanciert und ausdrucksstark sein und eine Echtzeitkommunikation ermöglichen, indem sie einen Zwischenschritt in Textform überspringen. Dies führt zu einer geringeren Latenz und natürlicheren Dialogen.

Die API ist für Echtzeitanwendungen ausgelegt, OpenAI weist jedoch darauf hin, dass sie derzeit keine clientseitige Authentifizierung bietet und Netzwerkinstabilitäten ein Problem für die Echtzeit-Sprachverarbeitung darstellen können. „Netzwerkbedingungen beeinflussen Echtzeit-Audio stark, und es ist herausfordernd, Audiodaten bei instabilen Bedingungen zuverlässig vom Client an den Server zu übertragen,“ erklärte das Unternehmen.

OpenAI hat bereits Erfahrung im Bereich der Sprach-KI. Im März führte das Unternehmen die Voice Engine als Plattform für die Stimmenklonung ein, beschränkte jedoch den Zugang auf ausgewählte Forscher. Zudem pausierte OpenAI den Einsatz einer der Stimmen, nachdem Schauspielerin Scarlett Johansson Bedenken hinsichtlich ihrer Ähnlichkeit äußerte. Im September rollte OpenAI den erweiterten Sprachmodus von ChatGPT für zahlende Nutzer in den USA aus.

Der Nutzen von Sprach-zu-Sprach-KI liegt besonders für Unternehmen im Bereich des Kundenservice auf der Hand. Ein AI-gesteuertes Sprachsystem kann Kundenanfragen verstehen und in Echtzeit über eine generierte Stimme beantworten, was die Interaktion natürlicher und schneller macht. Diese Technologie bietet auch Potenzial für Voice-Over-Generierung, indem eine Stimme auf Grundlage eines eingesprochenen Textes erzeugt wird, die jedoch nicht identisch mit der Originalstimme ist. Plattformen wie Replica und ElevenLabs setzen bereits auf diese Funktionen.

Mit der Einführung der Realtime API während des Dev Day von OpenAI hat das Unternehmen Entwicklern nun ein leistungsstarkes Werkzeug zur Erstellung von Sprachassistenten an die Hand gegeben. Ursprünglich kostete die Nutzung $0,06 pro Minute für Audioeingaben und $0,24 pro Minute für Audioausgaben. Um die Nutzung der API attraktiver zu gestalten, kündigte OpenAI jedoch eine Preissenkung an: Der Preis für gecachte Texteingaben sinkt um 50 %, während gecachte Audioeingaben eine Ermäßigung von 80 % erhalten.

Ein weiteres Highlight des Dev Day war die Einführung des sogenannten Prompt Caching. Mit dieser Funktion speichert OpenAI häufig angefragte Eingaben im Modell, was die Anzahl der generierten Tokens reduziert und so die Antwortzeiten beschleunigt. Prompt Caching ist auch bei Mitbewerbern wie Anthropic beliebt, die die Funktion bereits für ihr Modell Claude 3.5 Sonnet eingeführt haben. Für Entwickler bedeutet dies niedrigere Kosten und schnellere Reaktionszeiten bei der Nutzung der API.