Sicherheitslücken in KI-Chatbots: Neue Herausforderungen für Entwickler

MÜNCHEN (IT BOLTWISE) – Die jüngsten Entdeckungen von Sicherheitslücken in KI-Chatbots wie DeepSeek und Claude AI werfen ein neues Licht auf die Herausforderungen, denen Entwickler in der heutigen digitalen Landschaft gegenüberstehen. Diese Schwachstellen, die durch sogenannte Prompt-Injection-Angriffe ausgenutzt werden können, zeigen, wie wichtig es ist, die Sicherheitsaspekte bei der Entwicklung von KI-Anwendungen zu berücksichtigen.

Die Entdeckung von Sicherheitslücken in den KI-Chatbots DeepSeek und Claude AI hat die Aufmerksamkeit der Entwicklergemeinde auf sich gezogen. Diese Schwachstellen, die durch Prompt-Injection-Angriffe ausgenutzt werden können, ermöglichen es Angreifern, die Kontrolle über Benutzerkonten zu übernehmen. Der Sicherheitsforscher Johann Rehberger hat aufgezeigt, wie einfach es ist, durch die Eingabe bestimmter Befehle in den Chatbot DeepSeek eine Cross-Site-Scripting (XSS) Attacke auszulösen. Diese Art von Angriff kann schwerwiegende Folgen haben, da sie die Ausführung von nicht autorisiertem Code im Kontext des Webbrowsers des Opfers ermöglicht.

Ein erfolgreicher Angriff könnte es einem Angreifer ermöglichen, die Sitzung eines Benutzers zu kapern und Zugriff auf Cookies und andere Daten zu erhalten, die mit der Domain chat.deepseek.com verbunden sind. Rehberger erklärte, dass ein speziell gestalteter Prompt ausreicht, um das XSS auszulösen und das Sitzungstoken des Benutzers zu extrahieren. Diese Sicherheitslücke wurde inzwischen behoben, doch sie verdeutlicht die Notwendigkeit, die Sicherheit bei der Entwicklung von KI-Tools zu priorisieren.

Parallel dazu hat Rehberger gezeigt, dass auch Anthropic’s Claude AI anfällig für ähnliche Angriffe ist. Durch die Nutzung der Computersteuerungsfunktionen von Claude AI, die es Entwicklern ermöglichen, den Computer über Cursorbewegungen, Tastenklicks und Texteingaben zu steuern, könnten Angreifer bösartige Befehle autonom ausführen. Diese Technik, die als ZombAIs bezeichnet wird, nutzt Prompt-Injection, um die Computersteuerung zu missbrauchen und eine Verbindung zu einem entfernten Server herzustellen, der unter der Kontrolle des Angreifers steht.

Darüber hinaus haben Forscher der University of Wisconsin-Madison und der Washington University in St. Louis herausgefunden, dass OpenAI’s ChatGPT ebenfalls anfällig für Prompt-Injection-Angriffe ist. Diese Angriffe können dazu verwendet werden, externe Bildlinks in Markdown-Format darzustellen, die explizite und gewalttätige Inhalte enthalten könnten. Zudem ist es möglich, ChatGPT-Plugins indirekt zu aktivieren, die normalerweise eine Benutzerbestätigung erfordern, und Einschränkungen zu umgehen, die von OpenAI implementiert wurden, um die Darstellung gefährlicher Links zu verhindern.

Die Entdeckung dieser Schwachstellen unterstreicht die Bedeutung der Sicherheitsüberlegungen bei der Entwicklung von KI-Anwendungen. Entwickler müssen die Kontexte berücksichtigen, in denen sie die Ausgaben von großen Sprachmodellen (LLMs) einfügen, da diese Ausgaben unzuverlässig sein und beliebige Daten enthalten können. Die Integration von Sicherheitsmaßnahmen in den Entwicklungsprozess ist entscheidend, um die Integrität und Sicherheit von KI-gestützten Anwendungen zu gewährleisten.