FlashAttention Archive - IT BOLTWISE® x Artificial Intelligence
ai-baby-llama

TinyLlama: Mini-KI-Modell mit 3 Billionen vortrainierten Token

MÜNCHEN (IT BOLTWISE) – Eine Forschungsgruppe hat mit TinyLlama ein bahnbrechendes Mini-KI-Modell vorgestellt, das trotz seiner geringen Größe eine beeindruckende Leistungsfähigkeit aufweist. TinyLlama, entwickelt von Associate Professor Lu Wei von der Singapore University of Technology and Design (SUTD), Forschungsassistent Zhang Peiyuan sowie den Doktoranden Zeng Guangtao und Wang Tianduo, ist ein Open-Source-Sprachmodell mit 1,1 Milliarden […]