MÜNCHEN (IT BOLTWISE) – Nous Research hat mit der Veröffentlichung des DisTrO (Distributed Training Over-the-Internet) Optimierers erneut für Aufsehen gesorgt, einem Tool, das die Effizienz beim Training von KI-Modellen drastisch verbessert und neue Möglichkeiten für dezentrales Training über das Internet eröffnet.
- Die besten Bücher rund um KI & Robotik
präsentiert von Amazon! - Unsere täglichen KI-News von IT Boltwise® bei LinkedIn abonnieren!
- KI-Meldungen bequem via Telegram oder per Newsletter erhalten!
- IT Boltwise® bei Facy oder Insta als Fan markieren und abonnieren!
- AI Morning Podcast bei Spotify / Amazon / Apple verfolgen!
- RSS-Feed 2.0 von IT Boltwise® für KI-News speichern!
Mit DisTrO präsentiert das Forschungsunternehmen, das bereits durch seine permissive Open-Source-Version Llama 3.1 Hermes 3 Aufmerksamkeit erregte, eine weitere bedeutende Innovation. DisTrO reduziert die Menge der Informationen, die während jedes Schrittes des Trainings eines KI-Modells zwischen GPUs (Graphics Processing Units) übertragen werden müssen, erheblich. Diese Entwicklung könnte das Training leistungsstarker KI-Modelle auch außerhalb großer Unternehmen und mit handelsüblichen Internetverbindungen ermöglichen.
DisTrO wurde bereits in einem technischen Bericht von Nous Research getestet und zeigt eine 857-fache Effizienzsteigerung im Vergleich zu dem weit verbreiteten All-Reduce-Algorithmus. Zudem konnte die übertragene Datenmenge pro Trainingsschritt von 74,4 Gigabyte auf nur 86,8 Megabyte reduziert werden, ohne dass die Gesamtleistung signifikant beeinträchtigt wurde. Diese Ergebnisse könnten dazu führen, dass künftig mehr Menschen in der Lage sind, mächtige KI-Modelle nach ihren eigenen Vorstellungen zu trainieren.
Ein zentraler Vorteil von DisTrO ist die Möglichkeit, das KI-Training über dezentrale Netzwerke durchzuführen. Laut einem Beitrag von Nous Research auf X können Forscher und Institutionen ohne die Kontrolle durch ein einzelnes Unternehmen zusammenarbeiten und neue Techniken, Algorithmen und Modelle erproben. Diese erhöhte Wettbewerbsfähigkeit fördert Innovationen, treibt den Fortschritt voran und kommt letztlich der Gesellschaft zugute.
Die Hürde bei der KI-Ausbildung: Hohe Hardware-Anforderungen
Der Bedarf an leistungsstarken GPUs, insbesondere von NVIDIA, ist in der Ära der generativen KI enorm gestiegen. GPUs sind entscheidend, um KI-Modelle effizient und relativ schnell zu trainieren. In der Regel setzen Unternehmen auf große GPU-Cluster, die so konfiguriert werden, dass sie eine möglichst geringe Latenz und maximale Datenübertragung erzielen. Dies erfordert erhebliche Investitionen in Hardware und Infrastruktur, was dazu führt, dass das Training der größten und leistungsstärksten Modelle oft nur von gut finanzierten Unternehmen durchgeführt werden kann.
Der traditionelle Ansatz zum Training von KI-Modellen erfordert eine Synchronisation der Gradienten über alle GPUs hinweg und ist stark von extrem hochbandbreitigen Verbindungen abhängig. DisTrO hingegen reduziert den Kommunikationsaufwand um vier bis fünf Größenordnungen.
Obwohl die Algorithmen, die diese Reduktion ermöglichen, noch nicht vollständig veröffentlicht wurden, plant das Forschungsteam von Nous Research, in naher Zukunft weitere Details zu teilen. Diese Reduzierung wurde erreicht, ohne die Konvergenzrate des Trainings zu beeinträchtigen, was es ermöglicht, großskalige Modelle über deutlich langsamere Internetverbindungen zu trainieren – wie sie weltweit vielen Verbrauchern zur Verfügung stehen.
Die Tests mit DisTrO wurden an einem LLM (Large Language Model) von Meta Llama 2 durchgeführt. Obwohl das DisTrO-Verfahren bisher nur mit einem Modell dieser Größe erfolgreich getestet wurde, deuten vorläufige Ergebnisse darauf hin, dass eine Reduzierung der Bandbreitenanforderungen um das 1000- bis 3000-fache während der Vor-Training-Phase und bis zu 10000-fach während der Nach-Training- und Feinabstimmungsphasen möglich ist, ohne dass merkliche Leistungsabfälle auftreten.
Trotz dieser Fortschritte ist zu beachten, dass DisTrO weiterhin auf GPUs angewiesen ist, allerdings nicht mehr auf physisch zusammengefasste GPU-Cluster. Stattdessen können die GPUs weltweit verteilt und über das Internet miteinander verbunden werden.
Zukunft von DisTrO und Nous Research
Das Forschungsteam von Nous Research lädt Interessierte dazu ein, sich an der weiteren Entwicklung von DisTrO zu beteiligen. Der vorläufige Bericht und die zugehörigen Materialien sind auf GitHub verfügbar, und das Team sucht aktiv nach Mitstreitern, um diese bahnbrechende Technologie weiter zu verfeinern und auszubauen. Einige KI-Influencer haben die Forschung bereits als bedeutenden Fortschritt gefeiert.
Mit DisTrO treibt Nous Research nicht nur die technischen Möglichkeiten des KI-Trainings voran, sondern fördert auch ein inklusiveres und widerstandsfähigeres Forschungssystem, das das Potenzial hat, beispiellose Fortschritte in der KI zu ermöglichen.
Amazon-Trendangebote der letzten 24 Stunden mit bis zu 78% Rabatt (Sponsored)
- NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.
Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!
- Die Zukunft von Mensch und MaschineIm neuen Buch des renommierten Zukunftsforschers und Technologie-Visionärs Ray Kurzweil wird eine faszinierende Vision der kommenden Jahre und Jahrzehnte entworfen – eine Welt, die von KI durchdrungen sein wird
- Künstliche Intelligenz: Expertenwissen gegen Hysterie Der renommierte Gehirnforscher, Psychiater und Bestseller-Autor Manfred Spitzer ist ein ausgewiesener Experte für neuronale Netze, auf denen KI aufbaut
- Obwohl Künstliche Intelligenz (KI) derzeit in aller Munde ist, setzen bislang nur wenige Unternehmen die Technologie wirklich erfolgreich ein
- Wie funktioniert Künstliche Intelligenz (KI) und gibt es Parallelen zum menschlichen Gehirn? Was sind die Gemeinsamkeiten von natürlicher und künstlicher Intelligenz, und was die Unterschiede? Ist das Gehirn nichts anderes als ein biologischer Computer? Was sind Neuronale Netze und wie kann der Begriff Deep Learning einfach erklärt werden?Seit der kognitiven Revolution Mitte des letzten Jahrhunderts sind KI und Hirnforschung eng miteinander verflochten
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Wie Nous Researchs DisTrO-Optimierer das KI-Training demokratisieren könnte" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.