MÜNCHEN (IT BOLTWISE) – Eine Forschungsgruppe hat mit TinyLlama ein bahnbrechendes Mini-KI-Modell vorgestellt, das trotz seiner geringen Größe eine beeindruckende Leistungsfähigkeit aufweist.
TinyLlama, entwickelt von Associate Professor Lu Wei von der Singapore University of Technology and Design (SUTD), Forschungsassistent Zhang Peiyuan sowie den Doktoranden Zeng Guangtao und Wang Tianduo, ist ein Open-Source-Sprachmodell mit 1,1 Milliarden Parametern. Dieses Modell hat in nur vier Monaten auf einer Datengrundlage von drei Billionen Tokens trainiert und dabei in verschiedenen Benchmarks andere Open-Source-Modelle ähnlicher Größe übertroffen.
Im Gegensatz zu aktuellen großen Sprachmodellen wie ChatGPT oder Google Bard, die von großen Technologieunternehmen wie OpenAI oder Google entwickelt wurden und Tausende oder gar Zehntausende von Grafikprozessoreinheiten (GPUs) sowie eine Online-Verbindung zu ihren umfangreichen Servern benötigen, basiert TinyLlama lediglich auf 16 GPUs und benötigt nur 550MB Arbeitsspeicher (RAM). TinyLlama kann somit problemlos auf mobilen Geräten eingesetzt werden und ermöglicht es jedem, einen “Mini-ChatGPT” überallhin mitzunehmen.
Laut Marktechpost, einer kalifornischen Plattform für Nachrichten über Künstliche Intelligenz mit einer Gemeinschaft von über 1,5 Millionen AI-Profis und Entwicklern, zeigt TinyLlamas Leistung bei Aufgaben zur Allgemeinwissen-Logik und Problemlösung das Potenzial kleinerer Modelle, hohe Leistungen zu erbringen, wenn sie mit einer erheblichen Datenmenge trainiert werden. Dies eröffnet neue Möglichkeiten für Forschung und Anwendung im Bereich der natürlichen Sprachverarbeitung, insbesondere in Szenarien, in denen die Rechenressourcen begrenzt sind.
Prof. Lu, Direktor der StatNLP-Forschungsgruppe, die sich auf die Forschung zur natürlichen Sprachverarbeitung konzentriert, betonte die Bedeutung kleiner Sprachmodelle: “Kleinere Technologieunternehmen und Forschungslabore können nun ihre eigenen Modelle für eine Vielzahl von Anwendungen entwickeln und so die Sprachmodelle demokratisieren. Unser Ziel ist es, die Grundlagen für kleine Sprachmodelle zu schaffen und bedeutende wissenschaftliche Fortschritte in diesem Bereich zu erzielen.”
TinyLlama basiert auf der Architektur und dem Tokenizer von Llama 2 und integriert mehrere modernste Technologien, darunter FlashAttention, das die Recheneffizienz verbessert. Trotz seiner kleineren Größe im Vergleich zu einigen seiner Vorgänger zeigt TinyLlama außergewöhnliche Leistungen bei verschiedenen nachgelagerten Aufgaben und fordert die Annahme heraus, dass größere Modelle immer besser sind.
Mit seiner kompakten Architektur und außergewöhnlichen Leistung kann TinyLlama Endanwendungen auf mobilen Geräten ermöglichen und als leichtgewichtige Plattform für die Forschung an Sprachmodellen dienen.
Unternehmen wie das führende globale Verbraucherinternetunternehmen Sea Limited und die DSO National Laboratories, eine nationale Forschungs- und Entwicklungsorganisation für Verteidigung, haben den TinyLlama-Quellcode von GitHub für Forschungszwecke heruntergeladen.
Dr. Liu Qian, Forschungswissenschaftlerin und Teamleiterin der Natural Language Processing Group im Sea AI Lab, sagte: “In unseren Forschungsprojekten zu Sprachmodellen haben wir das TinyLlama-Projekt als wendiges und effizientes Testbett genutzt. Seine Codebasis ist kompakt und gut strukturiert, was einfache Modifikationen für verschiedene Zwecke ermöglicht. Mit Zugang zu mehreren 1B-Modell-Checkpoints validieren wir Hypothesen schneller und erhalten schnelleres Feedback im Vergleich zu den Llama-7b-Modellen.”
TinyLlama ist derzeit auf GitHub verfügbar und war etwa eine Woche lang ab dem 3. Januar 2024 das am meisten beachtete Projekt auf Hugging Face, einer Plattform für AI-bezogene Projekte, unter über 460.000 Modellen. Pläne zur weiteren Verbesserung von TinyLlama sind in Arbeit.
- Die Zukunft von Mensch und MaschineIm neuen Buch des renommierten Zukunftsforschers und Technologie-Visionärs Ray Kurzweil wird eine faszinierende Vision der kommenden Jahre und Jahrzehnte entworfen – eine Welt, die von KI durchdrungen sein wird
- Künstliche Intelligenz: Expertenwissen gegen Hysterie Der renommierte Gehirnforscher, Psychiater und Bestseller-Autor Manfred Spitzer ist ein ausgewiesener Experte für neuronale Netze, auf denen KI aufbaut
- Obwohl Künstliche Intelligenz (KI) derzeit in aller Munde ist, setzen bislang nur wenige Unternehmen die Technologie wirklich erfolgreich ein
- Wie funktioniert Künstliche Intelligenz (KI) und gibt es Parallelen zum menschlichen Gehirn? Was sind die Gemeinsamkeiten von natürlicher und künstlicher Intelligenz, und was die Unterschiede? Ist das Gehirn nichts anderes als ein biologischer Computer? Was sind Neuronale Netze und wie kann der Begriff Deep Learning einfach erklärt werden?Seit der kognitiven Revolution Mitte des letzten Jahrhunderts sind KI und Hirnforschung eng miteinander verflochten
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "TinyLlama: Mini-KI-Modell mit 3 Billionen vortrainierten Token" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.