Sicherheitslücke bei KI-Modellen auf Hugging Face entdeckt

MÜNCHEN (IT BOLTWISE) – In der Welt der Künstlichen Intelligenz sind Sicherheitsbedenken ein ständiges Thema. Jüngst haben Forscher zwei bösartige Modelle auf der Plattform Hugging Face entdeckt, die durch eine ungewöhnliche Technik der ‘gebrochenen’ Pickle-Dateien Sicherheitsmechanismen umgingen.

Die Entdeckung dieser bösartigen KI-Modelle auf Hugging Face wirft ein neues Licht auf die Sicherheitsrisiken, die mit der Verwendung von Pickle-Dateien verbunden sind. Diese Dateien, die häufig zur Verteilung von Machine-Learning-Modellen verwendet werden, bieten eine Möglichkeit, beliebigen Code auszuführen, sobald sie geladen und deserialisiert werden. Dies stellt ein erhebliches Risiko dar, insbesondere wenn die Dateien in einer Umgebung verwendet werden, die nicht ausreichend gesichert ist.

Die Forscher von ReversingLabs, die diese Modelle entdeckt haben, berichten, dass die bösartigen Inhalte am Anfang der Pickle-Dateien versteckt waren. Diese Inhalte bestanden aus einem typischen plattformbewussten Reverse-Shell-Payload, der sich mit einer fest codierten IP-Adresse verbindet. Diese Technik, die als nullifAI bezeichnet wird, zeigt, wie Angreifer bestehende Sicherheitsmaßnahmen umgehen können, um ihre schädlichen Modelle zu verbergen.

Interessanterweise wurden die betroffenen Modelle im PyTorch-Format gespeichert, das normalerweise das ZIP-Format zur Komprimierung verwendet. Die Angreifer nutzten jedoch das 7z-Format, um die Dateien zu komprimieren, was es den Modellen ermöglichte, unbemerkt zu bleiben und nicht als bösartig von Picklescan, einem von Hugging Face verwendeten Tool zur Erkennung verdächtiger Pickle-Dateien, markiert zu werden.

Die Analyse der Forscher ergab, dass diese gebrochenen Pickle-Dateien trotz eines Fehlers teilweise deserialisiert werden konnten, was zur Ausführung des bösartigen Codes führte. Dies lag an der Art und Weise, wie die Deserialisierung von Pickle-Dateien durchgeführt wird, nämlich sequentiell. Solange alle Opcodes ausgeführt werden oder eine gebrochene Anweisung auftritt, wird der Prozess fortgesetzt. Da der bösartige Payload am Anfang des Pickle-Streams eingefügt wurde, wurde die Ausführung des Modells von den bestehenden Sicherheits-Scantools von Hugging Face nicht als unsicher erkannt.

Diese Entdeckung unterstreicht die Notwendigkeit, die Sicherheitsmaßnahmen für die Verteilung von KI-Modellen zu überdenken. Die Verwendung von Pickle-Dateien, die eine bekannte Sicherheitslücke darstellen, sollte mit Vorsicht erfolgen. Entwickler und Unternehmen, die auf Plattformen wie Hugging Face angewiesen sind, müssen sicherstellen, dass sie zusätzliche Sicherheitsmaßnahmen ergreifen, um ihre Systeme vor solchen Angriffen zu schützen.

Die Forscher haben bereits Maßnahmen ergriffen, um die Sicherheitslücke zu schließen, indem sie das Open-Source-Tool Picklescan aktualisiert haben, um diese Art von Angriffen besser zu erkennen. Dennoch bleibt die Herausforderung bestehen, da Angreifer ständig neue Methoden entwickeln, um Sicherheitsmechanismen zu umgehen. Die Branche muss wachsam bleiben und kontinuierlich in die Verbesserung der Sicherheitsinfrastrukturen investieren, um den Schutz vor solchen Bedrohungen zu gewährleisten.

Insgesamt zeigt dieser Vorfall, dass die Sicherheitsrisiken im Bereich der Künstlichen Intelligenz nicht unterschätzt werden dürfen. Es ist entscheidend, dass sowohl Entwickler als auch Nutzer von KI-Technologien sich der potenziellen Gefahren bewusst sind und proaktive Maßnahmen ergreifen, um ihre Systeme zu schützen. Nur so kann das volle Potenzial der Künstlichen Intelligenz sicher und verantwortungsvoll genutzt werden.

Zu den Top-Stories!

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!

Angebot

1.918 Bewertungen

EIlik - Ein Desktop-Begleitroboter mit emotionaler Intelligenz, Multi-Roboter-Interaktionen, Desktop-Robotik-Partner

• NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.

169,00 EUR

Bei Amazon kaufen