Neue Methode zur Skalierung von KI-Modellen: Skepsis bleibt bestehen

MÜNCHEN (IT BOLTWISE) – In der Welt der Künstlichen Intelligenz (KI) sind Skalierungsgesetze ein entscheidender Faktor für die Leistungssteigerung von Modellen. Jüngste Entwicklungen deuten auf eine neue Methode hin, die als ‘Inference-Time Search’ bezeichnet wird. Diese Methode könnte das Potenzial haben, die Effizienz älterer Modelle zu steigern. Doch trotz der Begeisterung in sozialen Medien gibt es auch kritische Stimmen aus der Fachwelt.

In der sich schnell entwickelnden Welt der Künstlichen Intelligenz (KI) sind Skalierungsgesetze von zentraler Bedeutung, um die Leistungsfähigkeit von Modellen zu verbessern. Diese Gesetze beschreiben, wie sich die Leistung von KI-Modellen mit der Größe der Datensätze und der Rechenressourcen, die zu ihrer Schulung verwendet werden, verbessert. Bis vor etwa einem Jahr war das Hochskalieren der ‘Pre-Training’-Phase, also das Training immer größerer Modelle auf immer größeren Datensätzen, die dominierende Methode.

Obwohl das Pre-Training weiterhin eine wichtige Rolle spielt, sind zwei zusätzliche Skalierungsgesetze hinzugekommen: das Post-Training-Scaling und das Test-Time-Scaling. Ersteres bezieht sich auf die Feinabstimmung des Verhaltens eines Modells, während letzteres mehr Rechenleistung auf die Inferenz anwendet, um eine Art von ‘Schlussfolgerung’ zu ermöglichen. Ein neuer Vorschlag von Forschern von Google und der UC Berkeley könnte nun ein viertes Gesetz einführen: die ‘Inference-Time Search’.

Diese Methode lässt ein Modell viele mögliche Antworten auf eine Anfrage parallel generieren und wählt dann die ‘beste’ aus. Die Forscher behaupten, dass dies die Leistung eines älteren Modells, wie des Google Gemini 1.5 Pro, auf ein Niveau heben kann, das das OpenAI o1-preview ‘Reasoning’-Modell bei Wissenschafts- und Mathematik-Benchmarks übertrifft.

Eric Zhao, ein Google-Doktorand und Mitautor des Papiers, erklärte auf der Plattform X, dass durch das zufällige Abtasten von 200 Antworten und deren Selbstverifizierung das Modell Gemini 1.5 das o1-preview-Modell übertrifft. Er betonte, dass die Selbstverifizierung bei größerem Maßstab einfacher wird, was im Widerspruch zur intuitiven Annahme steht, dass die Auswahl der richtigen Lösung schwieriger wird, je größer der Pool an Lösungen ist.

Experten äußern jedoch Zweifel an der breiten Anwendbarkeit dieser Methode. Matthew Guzdial, ein KI-Forscher und Assistenzprofessor an der University of Alberta, erklärte, dass der Ansatz am besten funktioniert, wenn es eine gute ‘Bewertungsfunktion’ gibt, also wenn die beste Antwort auf eine Frage leicht feststellbar ist. In vielen Fällen sei dies jedoch nicht der Fall.

Mike Cook, ein Forschungsstipendiat am King’s College London, fügte hinzu, dass die Methode die ‘Schlussfolgerungsprozesse’ des Modells nicht wirklich verbessert. Vielmehr sei es eine Möglichkeit, die Einschränkungen einer Technologie zu umgehen, die dazu neigt, sehr selbstbewusste Fehler zu machen. Wenn ein Modell in 5 % der Fälle einen Fehler macht, sollte das Überprüfen von 200 Versuchen bei demselben Problem diese Fehler leichter erkennbar machen.

Die Tatsache, dass die Inference-Time Search möglicherweise Einschränkungen hat, ist für eine KI-Branche, die nach Möglichkeiten sucht, die ‘Schlussfolgerungs’-Rechenleistung effizient zu skalieren, sicherlich eine unerfreuliche Nachricht. Wie die Mitautoren des Papiers anmerken, können heutige Schlussfolgerungsmodelle Tausende von Dollar an Rechenleistung für ein einziges mathematisches Problem verbrauchen. Die Suche nach neuen Skalierungstechniken wird daher wahrscheinlich weitergehen.

Zu den Top-Stories!

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!

Angebot

1.955 Bewertungen

EIlik - Ein Desktop-Begleitroboter mit emotionaler Intelligenz, Multi-Roboter-Interaktionen, Desktop-Robotik-Partner

• NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.

169,00 EUR

Bei Amazon kaufen