Neue Bedrohung durch KI-generierte Code-Halluzinationen: Slopsquatting

MÜNCHEN (IT BOLTWISE) – Die zunehmende Nutzung von KI-gestützten Code-Generierungswerkzeugen hat eine neue Sicherheitsbedrohung hervorgebracht: das sogenannte Slopsquatting. Diese Bedrohung basiert auf der Fähigkeit von KI-Modellen, nicht existierende Softwarepakete zu halluzinieren, was von Angreifern ausgenutzt werden kann.

Die Entwicklung von KI-gestützten Code-Generierungswerkzeugen hat die Softwareentwicklung revolutioniert, indem sie die Geschwindigkeit und Effizienz der Code-Erstellung erheblich verbessert hat. Doch mit diesen Vorteilen kommen auch neue Herausforderungen, insbesondere in Bezug auf die Sicherheit. Eine kürzlich durchgeführte Studie von Forschern der University of Texas at San Antonio, der University of Oklahoma und der Virginia Tech hat gezeigt, dass diese KI-Tools häufig fiktive Softwarepaketnamen generieren, ein Phänomen, das als ‘Package Hallucinations’ bezeichnet wird.

Diese Halluzinationen führen dazu, dass Entwicklern überzeugend klingende, aber nicht existierende Paketnamen vorgeschlagen werden. Dies kann Entwickler dazu verleiten, nach diesen nicht existierenden Paketen in öffentlichen Code-Repositories zu suchen. Angreifer könnten diese Gelegenheit nutzen, um bösartige Pakete mit denselben halluzinierten Namen hochzuladen, die dann von ahnungslosen Entwicklern in ihre Projekte integriert werden.

Diese neue Angriffsform, bekannt als Slopsquatting, ähnelt den traditionellen Typosquatting-Angriffen, bei denen subtile Schreibfehler ausgenutzt werden. Der Unterschied besteht jedoch darin, dass hier KI-generierte Halluzinationen verwendet werden, um Entwickler zu täuschen. Die Forscher untersuchten systematisch Package Hallucinations in codegenerierenden großen Sprachmodellen (LLMs), sowohl in kommerziellen als auch in Open-Source-Modellen, und stellten fest, dass ein erheblicher Prozentsatz der generierten Pakete fiktiv ist.

In der Analyse von 16 weit verbreiteten codegenerierenden LLMs und zwei Prompt-Datensätzen wurden rund 576.000 Codebeispiele in Python und JavaScript generiert. Die Studie, die exklusiv mit Branchenexperten geteilt wurde, ergab, dass Package Hallucinations ein weit verbreitetes Phänomen in allen getesteten Modellen sind. Interessanterweise halluzinieren kommerzielle LLMs wie GPT-4 seltener als Open-Source-Modelle. Die Forscher stellten fest, dass GPT-Modelle viermal weniger wahrscheinlich halluzinierte Pakete generieren als Open-Source-Modelle.

Ein weiterer wichtiger Aspekt ist die Konfiguration der LLMs, die die Rate der Halluzinationen beeinflussen kann. Insbesondere führen niedrigere Temperatureinstellungen in LLMs zu einer Reduzierung der Halluzinationsrate, während höhere Temperaturen diese dramatisch erhöhen. Besorgniserregend ist auch, dass LLMs dazu neigen, dieselben erfundenen Paketnamen zu wiederholen, was bedeutet, dass das Problem nicht nur zufällige Fehler sind, sondern ein konsistentes Verhalten, das es Hackern erleichtert, es auszunutzen.

Die Forscher sind sich einig, dass Package Hallucinations eine neuartige Form von Paketverwirrungsangriffen darstellen und dass codegenerierende LLMs einen konservativeren Ansatz bei der Vorschlagserstellung von Paketen verfolgen sollten, indem sie sich auf eine kleinere Menge bekannter und zuverlässiger Pakete beschränken. Diese Erkenntnisse unterstreichen die Bedeutung der Bekämpfung von Package Hallucinations, um die Zuverlässigkeit und Sicherheit der KI-unterstützten Softwareentwicklung zu verbessern.

Um Package Hallucinations in codegenerierenden LLMs zu reduzieren, haben die Forscher mehrere Strategien entwickelt, darunter Retrieval Augmented Generation (RAG), Selbstverfeinerung und Feinabstimmung. Sie betonen auch ihr Engagement für offene Wissenschaft, indem sie ihren Quellcode, Datensätze und generierten Code öffentlich zugänglich machen, mit Ausnahme der Masterliste der halluzinierten Paketnamen und detaillierten Testergebnisse.

Casey Ellis, Gründer von Bugcrowd, kommentierte den Anstieg der KI-unterstützten Entwicklung und stellte fest, dass, obwohl sie die Geschwindigkeit erhöht, oft die entsprechende Steigerung der Qualität und Sicherheit fehlt. Er warnte davor, den Ausgaben von LLMs zu sehr zu vertrauen und die Entwicklung zu überstürzen, was zu Problemen wie Slopsquatting führen kann, bei denen Geschwindigkeit Vorsicht übertrumpft. ‘Entwickler zielen darauf ab, Dinge zum Laufen zu bringen, nicht unbedingt zu verhindern, was nicht passieren sollte’, sagte Ellis und fügte hinzu, dass dieses Missverhältnis, verstärkt durch KI, natürlich zu diesen Arten von Schwachstellen führt.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!

Angebot

2.009 Bewertungen

EIlik - Ein Desktop-Begleitroboter mit emotionaler Intelligenz, Multi-Roboter-Interaktionen, Desktop-Robotik-Partner

• NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.

169,00 EUR

Bei Amazon kaufen