NVIDIA übertrifft Moore’s Law mit KI-Chips

LAS VEGAS / MÜNCHEN (IT BOLTWISE) – NVIDIA hat kürzlich auf der CES in Las Vegas eine bemerkenswerte Entwicklung in der Welt der Künstlichen Intelligenz vorgestellt. Jensen Huang, der CEO von NVIDIA, behauptet, dass die Leistung ihrer KI-Chips die traditionellen Fortschrittsraten von Moore’s Law übertrifft.

In einer Zeit, in der viele die Verlangsamung des technologischen Fortschritts befürchten, hat NVIDIA mit seinen neuesten KI-Chips ein starkes Zeichen gesetzt. Jensen Huang, CEO von NVIDIA, erklärte in einem Interview, dass die Systeme seines Unternehmens schneller voranschreiten als es Moore’s Law jemals vorhergesagt hat. Diese Aussage fiel am Morgen nach seiner Keynote auf der CES in Las Vegas, wo er vor einem Publikum von 10.000 Personen sprach.

Moore’s Law, benannt nach dem Intel-Mitbegründer Gordon Moore, prognostizierte 1965, dass sich die Anzahl der Transistoren auf Computerchips etwa alle zwei Jahre verdoppeln würde, was zu einer Verdopplung der Leistung dieser Chips führte. Diese Vorhersage hat die Entwicklung der Computertechnologie über Jahrzehnte hinweg angetrieben, doch in den letzten Jahren hat sich das Tempo verlangsamt.

Huang behauptet jedoch, dass NVIDIAs KI-Chips in einem eigenen, beschleunigten Tempo voranschreiten. Das Unternehmen gibt an, dass sein neuester Superchip für Rechenzentren mehr als 30-mal schneller ist als die vorherige Generation, wenn es um das Ausführen von KI-Inferenz-Workloads geht. Diese Fortschritte sind möglich, weil NVIDIA die Architektur, den Chip, das System, die Bibliotheken und die Algorithmen gleichzeitig entwickeln kann.

Diese kühne Behauptung kommt zu einer Zeit, in der viele die Frage stellen, ob der Fortschritt der KI stagniert. Führende KI-Labore wie Google, OpenAI und Anthropic nutzen NVIDIAs KI-Chips, um ihre Modelle zu trainieren und auszuführen. Fortschritte bei diesen Chips könnten daher zu weiteren Verbesserungen der KI-Modellfähigkeiten führen.

Huang weist die Vorstellung zurück, dass der Fortschritt der KI ins Stocken geraten ist. Stattdessen behauptet er, dass es jetzt drei aktive KI-Skalierungsgesetze gibt: das Pre-Training, die anfängliche Trainingsphase, in der KI-Modelle Muster aus großen Datenmengen lernen; das Post-Training, das die Antworten eines KI-Modells mit Methoden wie menschlichem Feedback verfeinert; und das Test-Time-Compute, das während der Inferenzphase auftritt und einem KI-Modell mehr Zeit zum “Nachdenken” nach jeder Frage gibt.

Huang hebt hervor, dass die Fortschritte bei der Inferenzleistung die Kosten senken werden. NVIDIA hat sich als das wertvollste Unternehmen der Welt etabliert, indem es den KI-Boom genutzt hat, und es liegt in Huangs Interesse, diese Fortschritte zu betonen. Dennoch stellt sich die Frage, ob NVIDIAs teure Chips weiterhin die erste Wahl bleiben werden, da sich die Technologieunternehmen zunehmend auf die Inferenz konzentrieren.

Die neuesten Datenzentrum-Superchips von NVIDIA, die GB200 NVL72, sind 30 bis 40-mal schneller bei der Ausführung von KI-Inferenz-Workloads als die vorherigen Bestseller-Chips, die H100. Huang ist der Ansicht, dass dieser Leistungssprung bedeutet, dass KI-Modelle wie OpenAIs o3, die während der Inferenzphase erheblich Rechenleistung benötigen, mit der Zeit günstiger werden.

Insgesamt konzentriert sich Huang darauf, leistungsfähigere Chips zu entwickeln, da leistungsfähigere Chips langfristig zu niedrigeren Preisen führen. Die direkte und sofortige Lösung für Test-Time-Compute, sowohl in Bezug auf Leistung als auch Kosten, besteht darin, unsere Rechenkapazität zu erhöhen. Langfristig könnten KI-Modelle zur Verbesserung der Daten für das Pre- und Post-Training genutzt werden.

In den letzten Jahren sind die Preise für KI-Modelle teilweise aufgrund von Durchbrüchen bei der Computertechnik von Unternehmen wie NVIDIA stark gesunken. Huang erwartet, dass dieser Trend bei KI-Reasoning-Modellen anhält, auch wenn die ersten Versionen, die wir von OpenAI gesehen haben, recht teuer waren.

Huang behauptet, dass seine heutigen KI-Chips 1.000-mal besser sind als die, die NVIDIA vor zehn Jahren hergestellt hat. Das ist ein viel schnelleres Tempo als das von Moore’s Law vorgegebene, und Huang sieht keine Anzeichen dafür, dass sich dieser Trend bald verlangsamen wird.