MÜNCHEN (IT BOLTWISE) – Die Entwicklung von DeepSeek-V3, einem fortschrittlichen KI-Modell, hat sich als deutlich teurer herausgestellt als ursprünglich angenommen. Trotz der offiziellen Angaben, die die Kosten auf etwa 5,6 Millionen US-Dollar beziffern, deuten neue Analysen darauf hin, dass die tatsächlichen Ausgaben erheblich höher liegen könnten.
- Unsere KI-News von IT Boltwise® bei LinkedIn abonnieren!
- KI-Meldungen bequem via Telegram oder per Newsletter erhalten!
- IT Boltwise® bei Facebook als Fan markieren und abonnieren!
- AI Morning Podcast bei Spotify / Amazon / Apple verfolgen!
- RSS-Feed 2.0 von IT Boltwise® für KI-News speichern!
Die Entwicklung von DeepSeek-V3, einem der neuesten KI-Modelle, hat in der Tech-Branche für Aufsehen gesorgt. Ursprünglich wurden die Kosten für das Training des Modells auf etwa 5,6 Millionen US-Dollar geschätzt. Diese Zahl basiert auf der Nutzung eines Rechenzentrums mit 2048 H800-GPUs von NVIDIA, wobei hypothetische Mietkosten von 2 US-Dollar pro Stunde und GPU angenommen wurden. Doch diese Zahlen scheinen nur die Spitze des Eisbergs zu sein.
DeepSeek hat über sein Mutterunternehmen High-Flyer Zugriff auf eine beeindruckende Anzahl von 60.000 NVIDIA-GPUs, darunter 10.000 A100 aus der Ampere-Generation und 10.000 H100 vom Graumarkt. Diese GPUs sind entscheidend für die Entwicklung und das Training von KI-Modellen, insbesondere in einem Umfeld, das durch US-Exportbeschränkungen geprägt ist.
Die tatsächlichen Kosten der Entwicklung könnten sich auf weit mehr als die angegebenen 5,6 Millionen US-Dollar belaufen. Analysten von Semianalysis schätzen, dass allein die notwendigen Server für die 60.000 GPUs etwa 1,6 Milliarden US-Dollar kosten könnten, ohne die Betriebskosten und die Gehälter der Entwicklungsteams zu berücksichtigen.
Ein wesentlicher Teil der Kosten entfällt auf das Pre-Training des Modells, das die Grundlage für die endgültige Version bildet. Die Entwickler von DeepSeek weisen darauf hin, dass die angegebenen Kosten nicht die Ausgaben für frühere Forschungs- und Ablationsexperimente umfassen, die für die Entwicklung der Architektur und Algorithmen entscheidend waren.
Besonders bemerkenswert sind die technischen Innovationen, die in DeepSeek-V3 eingeflossen sind. Die Multi-Head Latent Attention (MLA) Technik komprimiert generierte Token, um bei neuen Abfragen schnell auf die Daten zugreifen zu können. Eine weitere Neuerung ist die „Dual Pipe“-Technologie, die einen Teil der Streaming-Multiprozessoren (SMs) in NVIDIAs GPUs als virtuelle Data Processing Unit (DPU) nutzt, um die Effizienz zu steigern.
Die Entwicklung von DeepSeek-V3 zeigt, wie komplex und kostspielig die Entwicklung moderner KI-Modelle sein kann. Die Nutzung von Hochleistungs-GPUs und die Implementierung neuer Technologien erfordern erhebliche Investitionen, die weit über die reinen Trainingskosten hinausgehen. Dies unterstreicht die Herausforderungen, denen sich Unternehmen in der KI-Entwicklung gegenübersehen, insbesondere in einem sich schnell verändernden regulatorischen Umfeld.
Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!
Ergänzungen und Infos bitte an die Redaktion per eMail an de-info[at]it-boltwise.de. Bitte vergiss nicht in deiner eMail die Artikel-Headline zu nennen: "DeepSeek: Kosten der KI-Entwicklung weit höher als angenommen".
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "DeepSeek: Kosten der KI-Entwicklung weit höher als angenommen" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.