Aleph Alpha und AMD: Neue KI-Architektur ohne Tokenizer

HEIDELBERG / MÜNCHEN (IT BOLTWISE) – Aleph Alpha hat in Zusammenarbeit mit AMD eine innovative KI-Architektur vorgestellt, die ohne Tokenizer auskommt und somit eine effizientere Anpassung von Sprachmodellen an spezifische Anforderungen ermöglicht.

In der Welt der Künstlichen Intelligenz sind Sprachmodelle ein zentrales Element, das kontinuierlich weiterentwickelt wird. Aleph Alpha, ein aufstrebendes Startup aus Heidelberg, hat in Kooperation mit AMD eine neue Architektur entwickelt, die Sprachmodelle ohne den Einsatz von Tokenizern anpassbar macht. Diese Entwicklung könnte die Art und Weise, wie Sprachmodelle trainiert und angepasst werden, grundlegend verändern.

Traditionelle Large Language Models (LLMs) basieren auf der Tokenisierung von Texten, was bedeutet, dass Texte in kleinere Einheiten zerlegt werden, um Muster zu erkennen. Diese Methode hat jedoch ihre Grenzen, insbesondere wenn es darum geht, Modelle an neue Sprachen oder spezialisierte Fachgebiete anzupassen. Aleph Alpha hat nun eine hierarchische Architektur entwickelt, die auf Zeichen- und Wortebene arbeitet und somit flexibler und effizienter ist.

Die neue Architektur verwendet einen leichten Kodierer auf Zeichenebene, der Zeichensequenzen in Wort-Embeddings umwandelt. Diese werden dann von einem Backbone-Modell auf Wortebene verarbeitet und schließlich über einen kompakten Decoder auf Zeichenebene dekodiert. Diese Methode ermöglicht es, souveräne Modelle für verschiedene Alphabete und weniger verbreitete Sprachen zu erstellen, was bisher aufgrund der Datenanforderungen schwierig war.

Ein wesentlicher Vorteil dieser Architektur ist die Reduzierung der benötigten Datenmenge für ein erfolgreiches Finetuning. Dies schont nicht nur die Rechenressourcen, sondern reduziert auch den CO₂-Fußabdruck erheblich. Laut Aleph Alpha können die Trainingskosten und der ökologische Fußabdruck um bis zu 70 Prozent gesenkt werden, was insbesondere für kleinere Sprachen wie Finnisch von Bedeutung ist.

Die Zusammenarbeit mit AMD und SiloAI, einem finnischen Unternehmen, das kürzlich von AMD übernommen wurde, stärkt das europäische KI-Ökosystem. Diese Partnerschaft zielt darauf ab, die Effizienz und Nachhaltigkeit von KI-Modellen zu verbessern und gleichzeitig die europäische Technologieführerschaft zu fördern.

Das Angebot richtet sich zunächst an europäische Behörden, die von der neuen Architektur profitieren sollen. Aleph Alpha hat bereits das KI-Betriebssystem Pharia entwickelt, das speziell für den Einsatz in Behörden konzipiert ist. Unterstützt wird die Initiative durch die Datenzentren von Stackit, der Cloud-Lösung von Schwarz Digits, die zur Schwarz-Gruppe gehört.

Diese Entwicklungen zeigen, dass die Anpassung von KI-Modellen an spezifische Anforderungen nicht nur eine technische Herausforderung ist, sondern auch eine Chance, die Effizienz und Nachhaltigkeit in der KI-Entwicklung zu verbessern. Die Zusammenarbeit zwischen Aleph Alpha und AMD könnte ein wichtiger Schritt in Richtung einer flexibleren und umweltfreundlicheren KI-Zukunft sein.