NVIDIA Dynamo: Effiziente KI-Inferenz für Unternehmen

MÜNCHEN (IT BOLTWISE) – NVIDIA hat mit der Einführung von NVIDIA Dynamo einen bedeutenden Schritt in der KI-Inferenztechnologie gemacht. Diese Open-Source-Software zielt darauf ab, die Effizienz und Skalierbarkeit von KI-Modellen in großen Rechenzentren zu maximieren.

NVIDIA hat mit der Einführung von NVIDIA Dynamo eine neue Ära in der KI-Inferenztechnologie eingeläutet. Diese Open-Source-Software wurde entwickelt, um die Effizienz und Skalierbarkeit von KI-Modellen in großen Rechenzentren zu maximieren. Durch die Orchestrierung und Koordination von Inferenzanfragen über eine Vielzahl von GPUs wird sichergestellt, dass KI-Fabriken mit minimalen Kosten betrieben werden können, um die Generierung von Token-Einnahmen zu maximieren.

Da KI-gestützte Entscheidungsfindung immer mehr an Bedeutung gewinnt, wird erwartet, dass jedes KI-Modell bei jeder Eingabeaufforderung Tausende von Tokens generiert. Die Erhöhung der Inferenzleistung bei gleichzeitiger Senkung der Kosten beschleunigt das Wachstum und eröffnet neue Umsatzmöglichkeiten für Dienstleister.

NVIDIA Dynamo, der Nachfolger des NVIDIA Triton Inference Servers, ist speziell darauf ausgelegt, die Token-Einnahmen für KI-Fabriken zu maximieren, die reasoning-basierte KI-Modelle einsetzen. Es orchestriert und beschleunigt die Inferenzkommunikation über Tausende von GPUs und nutzt disaggregiertes Serving, um die Verarbeitungs- und Generierungsphasen von großen Sprachmodellen (LLMs) auf verschiedenen GPUs zu trennen. Dies ermöglicht eine unabhängige Optimierung jeder Phase und stellt sicher, dass die GPU-Ressourcen maximal genutzt werden.

Mit der gleichen Anzahl von GPUs verdoppelt Dynamo die Leistung und den Umsatz von KI-Fabriken, die Llama-Modelle auf der aktuellen NVIDIA Hopper-Plattform betreiben. Beim Einsatz des DeepSeek-R1-Modells auf einem großen Cluster von GB200 NVL72-Racks steigern die intelligenten Inferenzoptimierungen von NVIDIA Dynamo auch die Anzahl der pro GPU generierten Tokens um mehr als das 30-fache.

Um diese Leistungsverbesserungen zu erreichen, integriert NVIDIA Dynamo Funktionen, die den Durchsatz erhöhen und die Kosten senken. Es kann GPUs dynamisch hinzufügen, entfernen und neu zuweisen, um auf schwankende Anfragemengen und -typen zu reagieren, sowie spezifische GPUs in großen Clustern identifizieren, die die Berechnungen minimieren und Anfragen effizient weiterleiten können. Außerdem kann es Inferenzdaten auf kostengünstigere Speicher- und Speichermedien auslagern und bei Bedarf schnell abrufen, um die Inferenzkosten zu minimieren.

NVIDIA Dynamo ist vollständig Open Source und unterstützt PyTorch, SGLang, NVIDIA TensorRT-LLM und vLLM, um Unternehmen, Startups und Forschern die Entwicklung und Optimierung von Methoden zur Bereitstellung von KI-Modellen über disaggregierte Inferenz zu ermöglichen. Es wird Nutzern helfen, die Einführung von KI-Inferenz zu beschleunigen, einschließlich bei AWS, Cohere, CoreWeave, Dell, Fireworks, Google Cloud, Lambda, Meta, Microsoft Azure, Nebius, NetApp, OCI, Perplexity, Together AI und VAST.

Die Plattform unterstützt auch disaggregiertes Serving, das die verschiedenen Rechenphasen von LLMs – einschließlich des Aufbaus eines Verständnisses der Benutzeranfrage und der Generierung der besten Antwort – auf verschiedene GPUs verteilt. Dieser Ansatz ist ideal für reasoning-Modelle wie die neue NVIDIA Llama Nemotron-Modellfamilie, die fortschrittliche Inferenztechniken für ein verbessertes kontextuelles Verständnis und die Antwortgenerierung nutzt. Disaggregiertes Serving ermöglicht es, jede Phase unabhängig zu optimieren und zu resourcieren, wodurch der Durchsatz verbessert und schnellere Antworten an die Benutzer geliefert werden.

Zusammen mit der KI-Beschleunigungs-Cloud plant Together AI, seine proprietäre Together Inference Engine mit NVIDIA Dynamo zu integrieren, um eine nahtlose Skalierung von Inferenz-Workloads über GPU-Knoten hinweg zu ermöglichen. Dies ermöglicht es Together AI auch, Verkehrsengpässe in verschiedenen Phasen der Modellpipeline dynamisch zu adressieren.

NVIDIA Dynamo umfasst vier wichtige Innovationen, die die Kosten für Inferenz-Serving senken und die Benutzererfahrung verbessern: GPU Planner, Smart Router, Low-Latency Communication Library und Memory Manager. Diese Technologien ermöglichen eine dynamische Anpassung der GPU-Ressourcen, eine intelligente Anfragenweiterleitung, eine optimierte Kommunikation zwischen GPUs und eine kosteneffiziente Speicherverwaltung.

Zu den Top-Stories!

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!

Angebot

1.944 Bewertungen

EIlik - Ein Desktop-Begleitroboter mit emotionaler Intelligenz, Multi-Roboter-Interaktionen, Desktop-Robotik-Partner

• NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.

169,00 EUR

Bei Amazon kaufen