KI-Chatbot erfindet Unternehmensrichtlinie und sorgt für Chaos

MÜNCHEN (IT BOLTWISE) – Ein Vorfall mit einem KI-gestützten Kundenservice-Chatbot hat kürzlich für Aufsehen gesorgt, als dieser eine nicht existierende Unternehmensrichtlinie erfand und damit Verwirrung und Unmut bei den Nutzern auslöste.

Ein Entwickler, der den beliebten KI-gestützten Code-Editor Cursor nutzt, bemerkte am Montag ein merkwürdiges Verhalten: Beim Wechsel zwischen verschiedenen Geräten wurde er automatisch ausgeloggt, was den üblichen Arbeitsablauf für Programmierer, die mehrere Geräte verwenden, störte. Als der Nutzer den Cursor-Support kontaktierte, erhielt er von einem Agenten namens „Sam“ die Auskunft, dass dies das erwartete Verhalten gemäß einer neuen Richtlinie sei. Doch eine solche Richtlinie existierte nicht, und Sam war ein Bot. Das KI-Modell hatte die Richtlinie erfunden, was eine Welle von Beschwerden und Kündigungsdrohungen auf Plattformen wie Hacker News und Reddit auslöste.

Dies ist ein weiteres Beispiel für KI-Konfabulationen, auch als „Halluzinationen“ bekannt, die potenziellen geschäftlichen Schaden verursachen können. Konfabulationen sind eine Art von „kreativem Lückenfüllen“, bei dem KI-Modelle plausible, aber falsche Informationen erfinden. Anstatt Unsicherheit zuzugeben, priorisieren KI-Modelle oft die Erstellung plausibler, selbstbewusster Antworten, selbst wenn dies bedeutet, Informationen von Grund auf zu erfinden. Für Unternehmen, die diese Systeme in kundenorientierten Rollen ohne menschliche Aufsicht einsetzen, können die Folgen sofort und kostspielig sein: frustrierte Kunden, beschädigtes Vertrauen und im Fall von Cursor potenziell gekündigte Abonnements. Der Vorfall begann, als ein Reddit-Nutzer namens BrokenToasterOven bemerkte, dass beim Wechsel zwischen einem Desktop, Laptop und einer Remote-Entwicklungsbox die Cursor-Sitzungen unerwartet beendet wurden. „Das Einloggen in Cursor auf einem Gerät macht die Sitzung auf jedem anderen Gerät sofort ungültig“, schrieb BrokenToasterOven in einer Nachricht, die später von den r/cursor-Moderatoren gelöscht wurde.

„Dies ist ein signifikanter UX-Rückschritt.“ Verwirrt und frustriert schrieb der Nutzer eine E-Mail an den Cursor-Support und erhielt schnell eine Antwort von Sam: „Cursor ist so konzipiert, dass es mit einem Gerät pro Abonnement als Kern-Sicherheitsfunktion funktioniert“, lautete die E-Mail-Antwort. Die Antwort klang definitiv und offiziell, und der Nutzer vermutete nicht, dass Sam kein Mensch war. Nach dem ursprünglichen Reddit-Post nahmen die Nutzer den Post als offizielle Bestätigung einer tatsächlichen Richtlinienänderung auf – eine, die Gewohnheiten brach, die für den täglichen Arbeitsablauf vieler Programmierer wesentlich sind. „Multi-Device-Workflows sind für Entwickler unverzichtbar“, schrieb ein Nutzer. Kurz darauf kündigten mehrere Nutzer öffentlich ihre Abonnements auf Reddit und nannten die nicht existierende Richtlinie als Grund.

„Ich habe mein Abo gerade gekündigt“, schrieb der ursprüngliche Reddit-Poster und fügte hinzu, dass ihr Arbeitsplatz es jetzt „vollständig bereinigt“. Andere schlossen sich an: „Ja, ich kündige auch, das ist absurd.“ Kurz darauf sperrten die Moderatoren den Reddit-Thread und entfernten den ursprünglichen Beitrag. „Hey! Wir haben keine solche Richtlinie“, schrieb ein Cursor-Vertreter in einer Reddit-Antwort drei Stunden später. „Sie können Cursor natürlich auf mehreren Geräten verwenden. Leider ist dies eine falsche Antwort von einem KI-Support-Bot in der ersten Reihe.“ Der Cursor-Vorfall erinnert an einen ähnlichen Vorfall im Februar 2024, als Air Canada angewiesen wurde, eine Rückerstattungsrichtlinie zu honorieren, die von ihrem eigenen Chatbot erfunden wurde.

In diesem Vorfall kontaktierte Jake Moffatt den Air Canada-Support, nachdem seine Großmutter gestorben war, und der KI-Agent der Fluggesellschaft teilte ihm fälschlicherweise mit, dass er einen regulär bepreisten Flug buchen und nachträglich für Trauerraten beantragen könne. Als Air Canada später seinen Rückerstattungsantrag ablehnte, argumentierte das Unternehmen, dass „der Chatbot eine separate juristische Person ist, die für ihre eigenen Handlungen verantwortlich ist“. Ein kanadisches Tribunal wies diese Verteidigung zurück und entschied, dass Unternehmen für Informationen verantwortlich sind, die von ihren KI-Tools bereitgestellt werden. Anstatt die Verantwortung wie Air Canada zu bestreiten, erkannte Cursor den Fehler an und ergriff Maßnahmen, um Wiedergutmachung zu leisten. Cursor-Mitbegründer Michael Truell entschuldigte sich später auf Hacker News für die Verwirrung über die nicht existierende Richtlinie und erklärte, dass der Nutzer erstattet worden sei und das Problem auf eine Backend-Änderung zurückzuführen sei, die die Sitzungssicherheit verbessern sollte, aber unbeabsichtigt Sitzungsinvalidierungsprobleme für einige Nutzer verursachte.

„Alle KI-Antworten, die für den E-Mail-Support verwendet werden, sind jetzt eindeutig als solche gekennzeichnet“, fügte er hinzu. „Wir verwenden KI-unterstützte Antworten als ersten Filter für den E-Mail-Support.“ Dennoch warf der Vorfall bei den Nutzern anhaltende Fragen zur Offenlegung auf, da viele Menschen, die mit Sam interagierten, offenbar glaubten, dass es sich um einen Menschen handelte. „LLMs, die vorgeben, Menschen zu sein (Sie haben es Sam genannt!) und nicht als solche gekennzeichnet sind, sind eindeutig darauf ausgelegt, täuschend zu sein“, schrieb ein Nutzer auf Hacker News. Während Cursor den technischen Fehler behob, zeigt die Episode die Risiken des Einsatzes von KI-Modellen in kundenorientierten Rollen ohne angemessene Schutzmaßnahmen und Transparenz.

Für ein Unternehmen, das KI-Produktivitätstools an Entwickler verkauft, stellt es eine besonders peinliche selbstverschuldete Wunde dar, wenn das eigene KI-Support-System eine Richtlinie erfindet, die seine Kernnutzer entfremdet. „Es gibt eine gewisse Ironie, dass Menschen wirklich hart daran arbeiten, zu sagen, dass Halluzinationen kein großes Problem mehr sind“, schrieb ein Nutzer auf Hacker News, „und dann wird ein Unternehmen, das von dieser Erzählung profitieren würde, direkt davon getroffen.“

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!