Forschungsteam entwickelt kostengünstiges KI-Modell als Konkurrenz zu OpenAI

STANFORD / SEATTLE / MÜNCHEN (IT BOLTWISE) – Ein Forscherteam der Stanford University und der University of Washington hat ein KI-Modell entwickelt, das mit einem minimalen Budget von unter 50 US-Dollar trainiert wurde. Diese Entwicklung stellt eine bemerkenswerte Herausforderung für etablierte KI-Modelle dar und wirft Fragen zur zukünftigen Entwicklung und Kommerzialisierung von KI-Technologien auf.

Die jüngste Entwicklung im Bereich der Künstlichen Intelligenz zeigt, dass Innovation nicht immer mit hohen Kosten verbunden sein muss. Forscher der Stanford University und der University of Washington haben ein KI-Modell namens s1 entwickelt, das mit weniger als 50 US-Dollar an Cloud-Computing-Ressourcen trainiert wurde. Dieses Modell konkurriert in seinen Fähigkeiten mit hochentwickelten Modellen wie OpenAIs o1 und DeepSeeks R1, insbesondere in den Bereichen Mathematik und Programmierung.

Das s1-Modell basiert auf einem Basismodell, das durch einen Prozess namens Distillation verfeinert wurde. Dabei werden die Fähigkeiten eines bestehenden KI-Modells extrahiert, indem auf dessen Antworten trainiert wird. In diesem Fall wurde s1 aus einem Google-Modell namens Gemini 2.0 Flash Thinking Experimental destilliert. Diese Methode der Destillation wurde bereits von Forschern der University of California, Berkeley, angewandt, um ein ähnliches Modell für etwa 450 US-Dollar zu entwickeln.

Die Verfügbarkeit von s1 auf GitHub, zusammen mit den Daten und dem Code, die für das Training verwendet wurden, zeigt, dass der Zugang zu fortschrittlichen KI-Technologien zunehmend demokratisiert wird. Dies wirft jedoch auch Fragen zur Kommerzialisierung und zum Schutz geistigen Eigentums auf, da große KI-Labore wie OpenAI Bedenken hinsichtlich der unbefugten Nutzung ihrer Daten äußern.

Die Forscher hinter s1 haben sich darauf konzentriert, eine einfache Methode zu finden, um starke Leistungen in der KI-Argumentation zu erzielen. Dabei wurde auch das sogenannte Test-Time Scaling berücksichtigt, das es einem KI-Modell ermöglicht, vor der Beantwortung einer Frage länger nachzudenken. Diese Ansätze wurden bereits in OpenAIs o1-Modell umgesetzt und von anderen KI-Laboren wie DeepSeek nachgeahmt.

Ein bemerkenswerter Aspekt der s1-Entwicklung ist die Nutzung von Supervised Fine-Tuning (SFT), bei dem ein KI-Modell angewiesen wird, bestimmte Verhaltensweisen aus einem Datensatz nachzuahmen. Diese Methode ist kostengünstiger als die groß angelegte Verstärkungslern-Methode, die DeepSeek für sein R1-Modell verwendet hat.

Die Forscher nutzten ein kleines, frei verfügbares KI-Modell aus einem chinesischen AI-Labor von Alibaba als Grundlage für s1. Sie erstellten einen Datensatz mit 1.000 sorgfältig ausgewählten Fragen und Antworten, die den Denkprozess des Google-Modells widerspiegeln. Das Training von s1 dauerte weniger als 30 Minuten auf 16 NVIDIA H100 GPUs, was die Effizienz und Kosteneffektivität dieser Methode unterstreicht.

In einer Zeit, in der Unternehmen wie Meta, Google und Microsoft Milliarden in die Entwicklung von KI-Infrastrukturen investieren, zeigt s1, dass auch mit begrenzten Mitteln bedeutende Fortschritte erzielt werden können. Dennoch bleibt die Frage offen, ob solche kostengünstigen Methoden langfristig mit den Investitionen großer Konzerne konkurrieren können.

• Die besten KI-News kostenlos per eMail erhalten!
• Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
• IT BOLTWISE® kostenlos auf Patreon unterstützen!