Thunder: Der Game-Changer für KI-Modelltraining von Lightning AI und Nvidia

MÜNCHEN (IT BOLTWISE) – Lightning AI hat in Zusammenarbeit mit Nvidia Thunder vorgestellt, einen Compiler der nächsten Generation, der das Training von KI-Modellen durch die Nutzung mehrerer GPUs beschleunigt.

Lightning AI, eine Open-Source-Plattform für die KI-Entwicklung, hat in Partnerschaft mit Nvidia den Compiler Thunder präsentiert. Dieser Compiler für das Open-Source-Machine-Learning-Framework PyTorch soll das Training von KI-Modellen durch die Verwendung mehrerer Grafikprozessoren (GPUs) effizienter gestalten. Thunder erreicht nach Angaben von Lightning AI eine Beschleunigung von bis zu 40% beim Training großer Sprachmodelle im Vergleich zu nicht optimiertem Code in realen Szenarien. Thunder ist unter der Apache 2.0-Lizenz als Open Source verfügbar und kostenlos erhältlich.

Auf der Nvidia GTC hat Lightning AI Thunder vorgestellt, das möglicherweise die Herausforderung meistert, GPUs voll auszunutzen, anstatt die Anzahl der verwendeten GPUs zu erhöhen. Seit 2022 strebt Lightning AI danach, Deep Learning der nächsten Generation für PyTorch zu schaffen, das mit Nvidias Produktreihe kompatibel ist, einschließlich torch.compile, nvFuser, Apex, CUDA Deep Neural Network Library (cuDNN) sowie Triton von OpenAI.

Lightning AI, früher bekannt als Grid AI und Schöpfer der Open-Source-Python-Bibliothek PyTorch Lightning, zielt darauf ab, Arbeitslasten durch seine Optimierungen zu beschleunigen, um möglicherweise neben anderen Open-Source-Gemeinschaften wie Open AI, Meta AI und Nvidia zu bestehen. Unter der Leitung von PyTorch-Kerntwickler Thomas Viehmann, bekannt für seine Arbeit an TorchScript und der Operationalisierung von PyTorch auf mobilen Geräten, wird der Compiler generative KI-Modelle von mehreren GPUs bedienen. Lightning AI CEO und Gründer William Falcon äußerte seine Begeisterung über die Zusammenarbeit mit Viehmann und betonte: „Thomas hat buchstäblich das Buch über PyTorch geschrieben. Bei Lightning AI wird er die kommenden Leistungsdurchbrüche leiten, die wir der PyTorch- und Lightning-AI-Gemeinschaft zur Verfügung stellen werden.“

Zwischen Datensammlung, Modellkonfiguration und überwachtem Fein-Tuning kann der Trainingsprozess von Modellen zeitaufwendig und kostspielig sein. Hinzu kommen weitere Faktoren wie technologisches Know-how, Management und Optimierung, die diese Herausforderungen verstärken. In Zeiten adversarialer KI, in denen Angreifer LLMs trainieren, um KI-Systeme zu manipulieren und zu täuschen, kann dies eine erhebliche Bedrohung für Organisationen darstellen.

Luca Antiga, der Chief Technology Officer von Lightning, weist darauf hin, dass Leistungsoptimierung und Profiling-Tools entscheidende Schlüssel für das Skalieren des Trainings von Modellen sind. Ohne sie wird viel Zeit, Ressourcen und Geld – in Milliardenhöhe – für das Training von LLMs aufgewendet. „Was wir sehen, ist, dass Kunden verfügbare GPUs nicht voll ausnutzen und stattdessen mehr GPUs für das Problem einsetzen“, sagte Antiga. Er merkte auch an, dass Kunden in Kombination mit Lightning Studios und seinen Profiling-Tools GPUs effektiver nutzen und die LLMs schneller und in größerem Maßstab durch Thunders Codeoptimierung trainieren können.

Thunder ist nach der Veröffentlichung von Lightning 2.2 im Februar nun verfügbar. Produkte von Lightning Studios können auf vier Preisstufen erworben werden: kostenlos für einzelne Entwickler, Pro-Level für Ingenieure, Forscher und Wissenschaftler; Team-Level für Startups und Teams sowie Enterprise-Level für größere Organisationen.