MÜNCHEN (IT BOLTWISE) – Die jüngsten Entdeckungen von Sicherheitslücken in KI-Chatbots wie DeepSeek und Claude AI werfen ein neues Licht auf die Herausforderungen, denen Entwickler in der heutigen digitalen Landschaft gegenüberstehen. Diese Schwachstellen, die durch sogenannte Prompt-Injection-Angriffe ausgenutzt werden können, zeigen, wie wichtig es ist, die Sicherheitsaspekte bei der Entwicklung von KI-Anwendungen zu berücksichtigen.
- Die besten Bücher rund um KI & Robotik
präsentiert von Amazon! - Unsere täglichen KI-News von IT Boltwise® bei LinkedIn abonnieren!
- KI-Meldungen bequem via Telegram oder per Newsletter erhalten!
- IT Boltwise® bei Facy oder Insta als Fan markieren und abonnieren!
- AI Morning Podcast bei Spotify / Amazon / Apple verfolgen!
- RSS-Feed 2.0 von IT Boltwise® für KI-News speichern!
Die Entdeckung von Sicherheitslücken in den KI-Chatbots DeepSeek und Claude AI hat die Aufmerksamkeit der Entwicklergemeinde auf sich gezogen. Diese Schwachstellen, die durch Prompt-Injection-Angriffe ausgenutzt werden können, ermöglichen es Angreifern, die Kontrolle über Benutzerkonten zu übernehmen. Der Sicherheitsforscher Johann Rehberger hat aufgezeigt, wie einfach es ist, durch die Eingabe bestimmter Befehle in den Chatbot DeepSeek eine Cross-Site-Scripting (XSS) Attacke auszulösen. Diese Art von Angriff kann schwerwiegende Folgen haben, da sie die Ausführung von nicht autorisiertem Code im Kontext des Webbrowsers des Opfers ermöglicht.
Ein erfolgreicher Angriff könnte es einem Angreifer ermöglichen, die Sitzung eines Benutzers zu kapern und Zugriff auf Cookies und andere Daten zu erhalten, die mit der Domain chat.deepseek.com verbunden sind. Rehberger erklärte, dass ein speziell gestalteter Prompt ausreicht, um das XSS auszulösen und das Sitzungstoken des Benutzers zu extrahieren. Diese Sicherheitslücke wurde inzwischen behoben, doch sie verdeutlicht die Notwendigkeit, die Sicherheit bei der Entwicklung von KI-Tools zu priorisieren.
Parallel dazu hat Rehberger gezeigt, dass auch Anthropic’s Claude AI anfällig für ähnliche Angriffe ist. Durch die Nutzung der Computersteuerungsfunktionen von Claude AI, die es Entwicklern ermöglichen, den Computer über Cursorbewegungen, Tastenklicks und Texteingaben zu steuern, könnten Angreifer bösartige Befehle autonom ausführen. Diese Technik, die als ZombAIs bezeichnet wird, nutzt Prompt-Injection, um die Computersteuerung zu missbrauchen und eine Verbindung zu einem entfernten Server herzustellen, der unter der Kontrolle des Angreifers steht.
Darüber hinaus haben Forscher der University of Wisconsin-Madison und der Washington University in St. Louis herausgefunden, dass OpenAI’s ChatGPT ebenfalls anfällig für Prompt-Injection-Angriffe ist. Diese Angriffe können dazu verwendet werden, externe Bildlinks in Markdown-Format darzustellen, die explizite und gewalttätige Inhalte enthalten könnten. Zudem ist es möglich, ChatGPT-Plugins indirekt zu aktivieren, die normalerweise eine Benutzerbestätigung erfordern, und Einschränkungen zu umgehen, die von OpenAI implementiert wurden, um die Darstellung gefährlicher Links zu verhindern.
Die Entdeckung dieser Schwachstellen unterstreicht die Bedeutung der Sicherheitsüberlegungen bei der Entwicklung von KI-Anwendungen. Entwickler müssen die Kontexte berücksichtigen, in denen sie die Ausgaben von großen Sprachmodellen (LLMs) einfügen, da diese Ausgaben unzuverlässig sein und beliebige Daten enthalten können. Die Integration von Sicherheitsmaßnahmen in den Entwicklungsprozess ist entscheidend, um die Integrität und Sicherheit von KI-gestützten Anwendungen zu gewährleisten.
Amazon-Trendangebote der letzten 24 Stunden mit bis zu 78% Rabatt (Sponsored)
- NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.
Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!
- Die Zukunft von Mensch und MaschineIm neuen Buch des renommierten Zukunftsforschers und Technologie-Visionärs Ray Kurzweil wird eine faszinierende Vision der kommenden Jahre und Jahrzehnte entworfen – eine Welt, die von KI durchdrungen sein wird
- Künstliche Intelligenz: Expertenwissen gegen Hysterie Der renommierte Gehirnforscher, Psychiater und Bestseller-Autor Manfred Spitzer ist ein ausgewiesener Experte für neuronale Netze, auf denen KI aufbaut
- Obwohl Künstliche Intelligenz (KI) derzeit in aller Munde ist, setzen bislang nur wenige Unternehmen die Technologie wirklich erfolgreich ein
- Wie funktioniert Künstliche Intelligenz (KI) und gibt es Parallelen zum menschlichen Gehirn? Was sind die Gemeinsamkeiten von natürlicher und künstlicher Intelligenz, und was die Unterschiede? Ist das Gehirn nichts anderes als ein biologischer Computer? Was sind Neuronale Netze und wie kann der Begriff Deep Learning einfach erklärt werden?Seit der kognitiven Revolution Mitte des letzten Jahrhunderts sind KI und Hirnforschung eng miteinander verflochten
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Sicherheitslücken in KI-Chatbots: Neue Herausforderungen für Entwickler" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.