Chinesisches KI-Startup DeepSeek erreicht bedeutende Fortschritte mit weniger Rechenleistung

PEKING / MÜNCHEN (IT BOLTWISE) – Inmitten der Herausforderungen durch US-Sanktionen zeigt das chinesische KI-Startup DeepSeek, dass Innovation auch mit begrenzten Ressourcen möglich ist.

Das chinesische KI-Startup DeepSeek hat kürzlich bekannt gegeben, dass es gelungen ist, ein KI-Modell zu entwickeln, das mit den führenden Modellen von Unternehmen wie OpenAI und Meta vergleichbar ist, jedoch mit einer um das 11-fache reduzierten Rechenleistung. Diese Ankündigung wirft ein neues Licht auf die Auswirkungen der US-Sanktionen, die die Verfügbarkeit von KI-Hardware in China einschränken. Doch DeepSeek zeigt, dass durch clevere Optimierungen und innovative Ansätze die Leistung aus begrenzter Hardware maximiert werden kann.

DeepSeek hat sein DeepSeek-V3 Mixture-of-Experts (MoE) Sprachmodell mit 671 Milliarden Parametern unter Einsatz von 2.048 NVIDIA H800 GPUs in nur zwei Monaten trainiert. Dies entspricht 2,8 Millionen GPU-Stunden. Zum Vergleich: Meta benötigte 30,8 Millionen GPU-Stunden, um sein Llama 3 Modell mit 405 Milliarden Parametern zu trainieren. Diese Zahlen verdeutlichen die Effizienz der von DeepSeek entwickelten Optimierungen.

Ein zentraler Aspekt der Effizienzsteigerung ist die Verwendung des DualPipe-Algorithmus, der die Phasen der Berechnung und Kommunikation innerhalb und zwischen den Mikro-Batches überlappt. Dies reduziert die Pipeline-Ineffizienzen erheblich. Besonders die Operationen Dispatch und Combine werden parallel zur Berechnung durchgeführt, was die Trainingsengpässe minimiert und eine nahezu kommunikationsfreie Verarbeitung von 14,8 Billionen Tokens während des Pre-Trainings ermöglicht.

Ein weiterer Schlüssel zur Reduzierung der Rechen- und Kommunikationsanforderungen war der Einsatz von Niedrigpräzisionstechniken. DeepSeek nutzte ein FP8-Mixed-Precision-Framework, das schnellere Berechnungen und einen geringeren Speicherverbrauch ermöglicht, ohne die numerische Stabilität zu beeinträchtigen. Diese Methode reduziert den Speicherbedarf, während die Genauigkeit erhalten bleibt.

Obwohl das DeepSeek-V3 Modell möglicherweise hinter den Spitzenmodellen wie GPT-4o oder o3 in Bezug auf Parameteranzahl oder Argumentationsfähigkeiten zurückbleibt, zeigt es, dass es möglich ist, ein fortschrittliches MoE-Sprachmodell mit relativ begrenzten Ressourcen zu trainieren. Dies erfordert jedoch umfangreiche Optimierungen und Programmierungen auf niedriger Ebene.

Die Bereitstellung des DeepSeek-V3 Modells erfordert fortschrittliche Hardware sowie eine Bereitstellungsstrategie, die die Vorfüll- und Dekodierungsphasen trennt. Dies könnte für kleinere Unternehmen aufgrund fehlender Ressourcen eine Herausforderung darstellen. Dennoch sind die erzielten Ergebnisse ein beeindruckender Beweis für die Innovationskraft des Unternehmens.

• IT BOLTWISE® kostenlos auf Patreon unterstützen!
• Zur Startseite von IT BOLTWISE® für aktuelle KI-News!