OLMo 2 von Ai2: Neue Perspektiven in offenen KI-Modellen

MÜNCHEN (IT BOLTWISE) – Ai2 setzt mit der Veröffentlichung von OLMo 2 neue Maßstäbe für offene Sprachmodelle.

Das Forschungsinstitut Ai2 hat mit OLMo 2 eine weiterentwickelte Familie offener Sprachmodelle veröffentlicht. Diese Modelle, verfügbar in 7B- und 13B-Parameter-Versionen, bieten volle Transparenz und stellen die Trainingsdaten, Gewichte, Tools und Entwicklungsrezepte vollständig zur Verfügung. Damit etabliert Ai2 eine neue Stufe der Offenheit im Bereich Künstlicher Intelligenz.

Die Modelle überzeugen nicht nur durch ihre Offenheit, sondern auch durch Leistung. Der OLMo 2 7B übertrifft beispielsweise Metas Llama 3.1 8B in englischsprachigen akademischen Benchmarks, während der OLMo 2 13B das Qwen 2.5 7B-Modell klar hinter sich lässt.

Der Erfolg von OLMo 2 beruht auf einem innovativen zweistufigen Trainingsansatz. Zunächst wurde das Modell auf einem riesigen Datensatz von 3,9 Billionen Tokens trainiert, der unter anderem Datenquellen wie DCLM, Dolma und Proof Pile II umfasste. Anschließend wurde mit hochqualitativen, domänenspezifischen Inhalten aus akademischen und webbasierten Quellen nachtrainiert.

Technische Innovationen wie verbesserte RMSNorm-Schichten, rotatorische Positionsembeddings und die Integration der Tülu-3-Methodik optimieren die Leistungsfähigkeit der Modelle. Diese Anpassungen sorgen für Stabilität im Training und verhindern Leistungseinbußen bei längeren Trainingsläufen.

Ai2 bleibt seiner Verpflichtung zur offenen Wissenschaft treu. Mit OLMo 2 liefert das Institut nicht nur die vollständigen Gewichte und Daten, sondern auch eine Evaluierungsplattform namens OLMES. Diese umfasst 20 Benchmarks zur Bewertung von Schlüsselkompetenzen wie Wissensabruf, logischem Denken und mathematischen Fähigkeiten.

Forscher und Entwickler können OLMo 2 über die Plattform Hugging Face herunterladen. Dank der Apache-Lizenz 2.0 steht es jedem offen, die Modelle weiterzuentwickeln oder für eigene Projekte zu nutzen.

OLMo 2 markiert einen wichtigen Schritt in der Demokratisierung der KI und bietet der Gemeinschaft eine leistungsstarke, offene Alternative zu proprietären Modellen.