DeepMind präsentiert SELF-DISCOVER-Framework für die Steigerung der Denkleistung von Großen Sprachmodellen

LOS ANGELES / MÜNCHEN (IT BOLTWISE) – Ein bahnbrechender Ansatz zur Verbesserung der Denkfähigkeiten von Großen Sprachmodellen (LLMs) wurde von Forschern von Google DeepMind und der University of Southern California vorgestellt.

Ein bahnbrechender Ansatz, der die Denkfähigkeiten von Großen Sprachmodellen (LLMs) verbessert, wurde von Forschern bei Google DeepMind und der University of Southern California enthüllt. Ihr neues ‚SELF-DISCOVER‘ Anreizsystem, das diese Woche auf arXiV und Hugging Face veröffentlicht wurde, stellt einen bedeutenden Sprung über bestehende Techniken hinaus dar und könnte die Leistung führender Modelle wie OpenAIs GPT-4 und Googles PaLM 2 revolutionieren. Das Framework verspricht erhebliche Verbesserungen bei der Bewältigung anspruchsvoller Denkaufgaben und zeigt bemerkenswerte Fortschritte, mit einer Leistungssteigerung von bis zu 32% im Vergleich zu traditionellen Methoden wie Chain of Thought (CoT). Dieser neue Ansatz basiert darauf, dass LLMs autonom Aufgaben-intrinsische Denkstrukturen entdecken, um komplexe Probleme zu navigieren.

Im Kern ermöglicht das Framework LLMs, verschiedene atomare Denkmodule – wie kritisches Denken und schrittweise Analyse – selbst zu entdecken und zu nutzen, um explizite Denkstrukturen zu konstruieren. Indem es menschliche Problemlösungsstrategien nachahmt, funktioniert das Framework in zwei Stufen:

1. In der ersten Stufe wird eine kohärente Denkstruktur, die für die Aufgabe intrinsisch ist, unter Nutzung einer Reihe von atomaren Denkmodulen und Aufgabenbeispielen zusammengestellt.
2. Während des Dekodierens folgen die LLMs dann dieser selbst entdeckten Struktur, um zur endgültigen Lösung zu gelangen.

In umfangreichen Tests über verschiedene Denkaufgaben hinweg – einschließlich Big-Bench Hard, Thinking for Doing und Math – übertraf der Selbstentdeckungsansatz konsequent traditionelle Methoden. Besonders hervorzuheben ist, dass er eine Genauigkeit von 81%, 85% und 73% bei den drei Aufgaben mit GPT-4 erreichte, was die Techniken des Chain-of-Thought und Plan-and-Solve übertrifft.

Die Auswirkungen dieser Forschung gehen jedoch weit über bloße Leistungssteigerungen hinaus. Indem LLMs mit verbesserten Denkfähigkeiten ausgestattet werden, ebnet das Framework den Weg für die Bewältigung herausfordernderer Probleme und bringt KI der Erreichung allgemeiner Intelligenz näher. Transferstudien, die von den Forschern durchgeführt wurden, unterstreichen weiterhin die universelle Anwendbarkeit der zusammengesetzten Denkstrukturen, die mit menschlichen Denkmustern übereinstimmen.

Während sich die Landschaft weiterentwickelt, repräsentieren Durchbrüche wie das SELF-DISCOVER Anreizsystem entscheidende Meilensteine bei der Weiterentwicklung der Fähigkeiten von Sprachmodellen und bieten einen Einblick in die Zukunft der KI.

Hinweis: Teile dieses Textes könnten mithilfe Künstlicher Intelligenz generiert worden sein.