Sicherheitslücken in ML-Toolkits ermöglichen Serverübernahmen

MÜNCHEN (IT BOLTWISE) – In der Welt der Künstlichen Intelligenz und des maschinellen Lernens sind Sicherheitsfragen von entscheidender Bedeutung. Jüngste Entdeckungen von Sicherheitslücken in beliebten Open-Source-ML-Toolkits werfen ein neues Licht auf die potenziellen Risiken, die mit der Nutzung dieser Technologien verbunden sind.

Die Entdeckung von fast zwei Dutzend Sicherheitslücken in 15 verschiedenen Open-Source-Projekten im Bereich des maschinellen Lernens hat die Branche aufgerüttelt. Diese Schwachstellen, die sowohl auf der Server- als auch auf der Client-Seite gefunden wurden, könnten Angreifern ermöglichen, wichtige Server in Organisationen zu kapern, darunter ML-Modellregister, ML-Datenbanken und ML-Pipelines. Die Sicherheitsfirma JFrog hat in einer kürzlich veröffentlichten Analyse auf diese Gefahren hingewiesen.

Besonders besorgniserregend sind die serverseitigen Schwachstellen, die es Angreifern ermöglichen, Modellregister und ML-Datenbank-Frameworks aus der Ferne zu kapern. Zu den betroffenen Projekten gehören Weave, ZenML, Deep Lake, Vanna.AI und Mage AI. Eine der schwerwiegendsten Schwachstellen, CVE-2024-7340, betrifft das Weave ML-Toolkit und ermöglicht es einem niedrig privilegierten authentifizierten Benutzer, durch das Lesen einer Datei namens „api_keys.ibd“ seine Privilegien auf ein Admin-Level zu erhöhen.

Ein weiteres Beispiel ist eine unzureichende Zugriffskontrolle im ZenML MLOps-Framework, die es einem Benutzer mit Zugriff auf einen verwalteten ZenML-Server ermöglicht, seine Privilegien von einem Betrachter auf volle Admin-Rechte zu erhöhen. Dies gibt dem Angreifer die Möglichkeit, den Secret Store zu modifizieren oder zu lesen. Diese Schwachstelle hat noch keine CVE-Kennung erhalten.

Die Sicherheitslücke CVE-2024-6507 in der Deep Lake AI-orientierten Datenbank ermöglicht es Angreifern, Systembefehle einzuschleusen, wenn ein Kaggle-Datensatz hochgeladen wird, da eine ordnungsgemäße Eingabesäuberung fehlt. Diese Schwachstelle wurde in der Version 3.9.11 behoben.

Die Auswirkungen solcher Schwachstellen sind weitreichend, da MLOps-Pipelines Zugang zu ML-Datensätzen, ML-Modelltraining und ML-Modellveröffentlichung haben können. Ein Angriff auf eine ML-Pipeline könnte zu einem extrem schweren Sicherheitsvorfall führen, wie JFrog betont. Die Angreifer könnten ML-Modelle manipulieren oder Daten vergiften, was schwerwiegende Folgen für die betroffenen Organisationen haben könnte.

Interessanterweise wurde auch ein defensives Framework namens Mantis entwickelt, das Prompt-Injection-Techniken nutzt, um Cyberangriffe auf große Sprachmodelle mit über 95% Effektivität abzuwehren. Dieses Framework kann automatisierte Cyberangriffe erkennen und durch gezielte Eingaben die Operationen des Angreifers stören oder sogar dessen Maschine kompromittieren.