Das Ende der KI-Vortrainings-Ära: Ein Blick in die Zukunft der Superintelligenz

VANCOUVER / MÜNCHEN (IT BOLTWISE) – Die Ära des Vortrainings von Künstlicher Intelligenz (KI) könnte bald zu Ende gehen, so die Prognose von Ilya Sutskever, Mitbegründer von OpenAI, auf der NeurIPS 2024 Konferenz in Vancouver. Sutskever argumentiert, dass die Verfügbarkeit von Daten als Trainingsgrundlage für KI-Modelle an ihre Grenzen stößt, während die Rechenleistung weiterhin exponentiell wächst.

Die Diskussion um die Zukunft der Künstlichen Intelligenz (KI) hat einen neuen Höhepunkt erreicht, als Ilya Sutskever, Mitbegründer von OpenAI, auf der NeurIPS 2024 Konferenz in Vancouver erklärte, dass die Ära des KI-Vortrainings ihrem Ende entgegengeht. Sutskever betonte, dass die Verfügbarkeit von Daten, die als Grundlage für das Training von KI-Modellen dienen, an ihre Grenzen stößt, während die Rechenleistung durch fortschrittlichere Hardware und Algorithmen weiterhin exponentiell wächst.

In seiner Rede verglich Sutskever Daten mit fossilen Brennstoffen, die irgendwann erschöpft sein werden. Er erklärte: “Daten wachsen nicht, weil wir nur ein Internet haben. Man könnte sogar sagen, dass Daten das fossile Brennstoff der KI sind. Sie wurden irgendwie geschaffen, und jetzt nutzen wir sie. Wir haben den Höhepunkt der Daten erreicht, und es wird keine weiteren geben – wir müssen mit den Daten umgehen, die wir haben.”

Die Zukunft der KI sieht Sutskever in der Entwicklung von agentischen KI-Systemen, synthetischen Daten und der Berechnung zur Laufzeit. Diese Fortschritte könnten letztlich zur Entstehung einer KI-Superintelligenz führen. Agentische KI-Systeme, die Entscheidungen ohne menschlichen Input treffen können, haben bereits in der Krypto-Welt für Aufsehen gesorgt, insbesondere durch den Aufstieg von KI-Memecoins und großen Sprachmodellen wie Truth Terminal.

Ein bemerkenswertes Beispiel ist das Modell Truth Terminal, das viral ging, nachdem es begann, eine Memecoin namens Goatseus Maximus (GOAT) zu bewerben, die schließlich eine Marktkapitalisierung von 1 Milliarde US-Dollar erreichte. Dies zog die Aufmerksamkeit von Einzelhandelsinvestoren und Risikokapitalgebern auf sich.

Auch Google hat mit seinem DeepMind-Labor Fortschritte gemacht und kürzlich Gemini 2.0 vorgestellt, ein KI-Modell, das agentische KI-Systeme antreiben soll. Laut Google werden mit dem Gemini 2.0 Framework entwickelte Agenten in der Lage sein, komplexe Aufgaben wie die Koordination zwischen Websites und logisches Denken zu unterstützen.

Die Weiterentwicklung von KI-Agenten, die unabhängig handeln und denken können, wird den Weg ebnen, um über Datenhalluzinationen hinauszugehen. Diese Halluzinationen treten aufgrund fehlerhafter Datensätze auf und weil das KI-Vortraining zunehmend auf die Verwendung älterer Sprachmodelle zur Schulung neuerer Modelle angewiesen ist, was die Leistung im Laufe der Zeit verschlechtert.