KI-Support-Bot von Cursor AI sorgt für Verwirrung

MÜNCHEN (IT BOLTWISE) – In einer ironischen Wendung erlebten Nutzer von Cursor AI die Grenzen der Künstlichen Intelligenz hautnah, als der Support-Bot des Programmiertools eine nicht existierende Nutzungsrichtlinie halluzinierte.

Die Nutzer des Cursor-Editors, der entwickelt wurde, um Quellcode in Reaktion auf Benutzereingaben zu generieren und zu korrigieren, wurden gelegentlich aus der Software ausgeschlossen, wenn sie versuchten, die App in mehreren Sitzungen auf verschiedenen Geräten zu verwenden. Einige Nutzer, die sich über die Unfähigkeit beschwerten, mehrere Logins für den Abonnementdienst auf verschiedenen Maschinen aufrechtzuerhalten, erhielten eine Antwort von der Support-E-Mail des Unternehmens, die darauf hindeutete, dass dies ein erwartetes Verhalten sei.

Doch die Person am anderen Ende dieser E-Mail war gar keine Person, sondern ein KI-gestützter Support-Bot. Und dieser hatte diese Richtlinie offenbar erfunden. Um die verärgerten Nutzer zu besänftigen, veröffentlichte Cursor-Mitbegründer Michael Truell eine Entschuldigung auf Reddit. “Hey! Wir haben keine solche Richtlinie”, schrieb er. “Natürlich können Sie Cursor auf mehreren Maschinen verwenden.”

Leider handelte es sich um eine falsche Antwort eines KI-gestützten Support-Bots. Wir haben eine Änderung eingeführt, um die Sicherheit der Sitzungen zu verbessern, und untersuchen, ob dies Probleme mit der Sitzungsinvalidation verursacht hat.” Truell fügte hinzu, dass Cursor eine Schnittstelle zum Anzeigen aktiver Sitzungen in den Einstellungen bereitstellt und entschuldigte sich für die Verwirrung.

In einem Beitrag zur Diskussion des Vorfalls auf Hacker News entschuldigte sich Truell erneut und räumte ein, dass etwas schiefgelaufen war. “Wir haben bereits mit der Untersuchung begonnen, und einige sehr frühe Ergebnisse: Alle KI-Antworten, die für den E-Mail-Support verwendet werden, sind jetzt deutlich als solche gekennzeichnet. Wir verwenden KI-unterstützte Antworten als ersten Filter für den E-Mail-Support.” Der Entwickler, der dieses Problem angesprochen hatte, wurde erstattet. Das Problem mit dem Sitzungs-Logout, das nun behoben ist, scheint das Ergebnis einer Rennbedingung zu sein, die bei langsamen Verbindungen auftritt und unerwünschte Sitzungen erzeugt.

KI-Modelle sind bekannt dafür, zu halluzinieren und ungenaue oder minderwertige Antworten auf Eingabeaufforderungen zu generieren; für die Nutzer scheint es, als würde die Software einfach Dinge aus der Luft erfinden. Wie Anfang dieses Jahres in Nature festgestellt wurde, können Halluzinationen nicht gestoppt, aber verwaltet werden. Das KI-Modell-Repository HuggingFace dokumentiert das Phänomen in seinem Hallucination Leaderboard, das vergleicht, wie verschiedene KI-Modelle bei verschiedenen Benchmark-Tests abschneiden.

Marcus Merrell, technischer Hauptberater für Sauce Labs, ein Unternehmen für Anwendungstests, sagte, dass gründlichere Tests des Support-Bots das Risiko von Falschaussagen hätten mindern können. “Dieser Support-Bot fiel hier zwei Problemen zum Opfer: Halluzinationen und nicht-deterministische Ergebnisse”, sagte Merrell. “Wir alle kennen Halluzinationen, aber das nicht-deterministische Element war hier ebenfalls im Spiel: Wenn mehrere Personen die gleiche Frage stellen, erhalten sie wahrscheinlich unterschiedliche Ergebnisse. Einige Nutzer sahen die Nachricht über die neue Richtlinienänderung, andere nicht. Dies führte zu Verwirrung innerhalb des Unternehmens und online, da Kunden inkonsistente Nachrichten sahen.”

Merrell fügte hinzu: “Für einen Support-Bot ist dies inakzeptabel. Menschen, die Support leisten, haben normalerweise ein Skript und einen Prozess. Es ist möglich, dass das LLM in einer Weise verfeinert werden kann, die diese Probleme mindert, aber Unternehmen eilen, sie in großem Maßstab einzuführen – um Personalkosten zu sparen – und setzen dabei ihre Marke aufs Spiel. Den Nutzern mitzuteilen, dass ‘diese Antwort von KI generiert wurde’, wird wahrscheinlich eine unzureichende Maßnahme sein, um die Nutzerloyalität wiederherzustellen.”

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!