TinyLlama: Mini-KI-Modell mit 3 Billionen vortrainierten Token

MÜNCHEN (IT BOLTWISE) – Eine Forschungsgruppe hat mit TinyLlama ein bahnbrechendes Mini-KI-Modell vorgestellt, das trotz seiner geringen Größe eine beeindruckende Leistungsfähigkeit aufweist.

TinyLlama, entwickelt von Associate Professor Lu Wei von der Singapore University of Technology and Design (SUTD), Forschungsassistent Zhang Peiyuan sowie den Doktoranden Zeng Guangtao und Wang Tianduo, ist ein Open-Source-Sprachmodell mit 1,1 Milliarden Parametern. Dieses Modell hat in nur vier Monaten auf einer Datengrundlage von drei Billionen Tokens trainiert und dabei in verschiedenen Benchmarks andere Open-Source-Modelle ähnlicher Größe übertroffen.

Im Gegensatz zu aktuellen großen Sprachmodellen wie ChatGPT oder Google Bard, die von großen Technologieunternehmen wie OpenAI oder Google entwickelt wurden und Tausende oder gar Zehntausende von Grafikprozessoreinheiten (GPUs) sowie eine Online-Verbindung zu ihren umfangreichen Servern benötigen, basiert TinyLlama lediglich auf 16 GPUs und benötigt nur 550MB Arbeitsspeicher (RAM). TinyLlama kann somit problemlos auf mobilen Geräten eingesetzt werden und ermöglicht es jedem, einen „Mini-ChatGPT“ überallhin mitzunehmen.

Laut Marktechpost, einer kalifornischen Plattform für Nachrichten über Künstliche Intelligenz mit einer Gemeinschaft von über 1,5 Millionen AI-Profis und Entwicklern, zeigt TinyLlamas Leistung bei Aufgaben zur Allgemeinwissen-Logik und Problemlösung das Potenzial kleinerer Modelle, hohe Leistungen zu erbringen, wenn sie mit einer erheblichen Datenmenge trainiert werden. Dies eröffnet neue Möglichkeiten für Forschung und Anwendung im Bereich der natürlichen Sprachverarbeitung, insbesondere in Szenarien, in denen die Rechenressourcen begrenzt sind.

Prof. Lu, Direktor der StatNLP-Forschungsgruppe, die sich auf die Forschung zur natürlichen Sprachverarbeitung konzentriert, betonte die Bedeutung kleiner Sprachmodelle: „Kleinere Technologieunternehmen und Forschungslabore können nun ihre eigenen Modelle für eine Vielzahl von Anwendungen entwickeln und so die Sprachmodelle demokratisieren. Unser Ziel ist es, die Grundlagen für kleine Sprachmodelle zu schaffen und bedeutende wissenschaftliche Fortschritte in diesem Bereich zu erzielen.“

TinyLlama basiert auf der Architektur und dem Tokenizer von Llama 2 und integriert mehrere modernste Technologien, darunter FlashAttention, das die Recheneffizienz verbessert. Trotz seiner kleineren Größe im Vergleich zu einigen seiner Vorgänger zeigt TinyLlama außergewöhnliche Leistungen bei verschiedenen nachgelagerten Aufgaben und fordert die Annahme heraus, dass größere Modelle immer besser sind.

Mit seiner kompakten Architektur und außergewöhnlichen Leistung kann TinyLlama Endanwendungen auf mobilen Geräten ermöglichen und als leichtgewichtige Plattform für die Forschung an Sprachmodellen dienen.

Unternehmen wie das führende globale Verbraucherinternetunternehmen Sea Limited und die DSO National Laboratories, eine nationale Forschungs- und Entwicklungsorganisation für Verteidigung, haben den TinyLlama-Quellcode von GitHub für Forschungszwecke heruntergeladen.

Dr. Liu Qian, Forschungswissenschaftlerin und Teamleiterin der Natural Language Processing Group im Sea AI Lab, sagte: „In unseren Forschungsprojekten zu Sprachmodellen haben wir das TinyLlama-Projekt als wendiges und effizientes Testbett genutzt. Seine Codebasis ist kompakt und gut strukturiert, was einfache Modifikationen für verschiedene Zwecke ermöglicht. Mit Zugang zu mehreren 1B-Modell-Checkpoints validieren wir Hypothesen schneller und erhalten schnelleres Feedback im Vergleich zu den Llama-7b-Modellen.“

TinyLlama ist derzeit auf GitHub verfügbar und war etwa eine Woche lang ab dem 3. Januar 2024 das am meisten beachtete Projekt auf Hugging Face, einer Plattform für AI-bezogene Projekte, unter über 460.000 Modellen. Pläne zur weiteren Verbesserung von TinyLlama sind in Arbeit.

Hinweis: Teile dieses Textes könnten mithilfe Künstlicher Intelligenz generiert worden sein.