Lügendetektor für KI: Forscher bekämpfen Halluzinationen bei Sprachmodellen

MÜNCHEN (IT BOLTWISE) – Forscher der Universität Oxford haben eine neue Methodik entwickelt, um Halluzinationen bei Sprachmodellen zu reduzieren und die Zuverlässigkeit von Künstlicher Intelligenz (KI) zu verbessern. Dieser Ansatz könnte die Integration von KI in geschäftliche Anwendungen attraktiver machen.

Sprachmodelle könnten bestimmte Aufgaben und Jobs weitgehend automatisieren. Aber noch sind Fehler und sogenannte Halluzinationen ein Problem bei Chatbots. Eine neue Methodik soll das ändern.

Der Ansatz könnte den Einsatz von Künstlicher Intelligenz (KI) in vielen Geschäftsanwendungen deutlich attraktiver machen: Forscher der Universität Oxford wollen einen Weg gefunden haben, Sprachmodelle zuverlässiger zu machen. In einem Beitrag im Fachmagazin „Nature“ haben sie eine Methode beschrieben, mit der ein Teil der sogenannten „Halluzinationen“ vermieden werden könnte.

Halluzinationen sind ein Phänomen, das mit der Verbreitung von ChatGPT bekannt wurde: Dieser Chatbot und ähnliche Systeme können erstaunlich gut Fragen beantworten und argumentieren. Sie neigen aber dazu, Fakten frei zu erfinden. Die neue Methode ist also eine Art Lügendetektor für KI.

Warum das wichtig ist: Die sogenannte generative KI, mit der zum Beispiel Texte, Computercode und Bilder erzeugt werden können, bietet viele Möglichkeiten. Mit ihrer Hilfe könnten die Menschen manche Jobs und Tätigkeiten viel schneller automatisieren als bisher angenommen.

So hat die Unternehmensberatung McKinsey für Europa prognostiziert, dass sich mit generativer KI bis zum Jahr 2030 mehr als ein Viertel der Aufgaben von Fachleuten in Wirtschaft und Recht automatisieren lassen (26 Prozent). Ohne diese Technologie wären es 13 Prozent.

Dem weltweiten Hype um Künstliche Intelligenz stehen enorme Zweifel an der Technologie gegenüber. Dazu zählt die Frage, ob sich Fehler und Falschaussagen mit der derzeitigen Bauart der Technologie jemals vermeiden lassen werden.

Das liegt auch an der Funktionsweise: Die Anbieter trainieren ihre Sprachmodelle mit riesigen Mengen an Daten, auf deren Basis die Modelle quasi ausrechnen, wie die Antwort auf eine Frage lauten muss. Sie sagen Schritt für Schritt das wahrscheinlichste nächste Wort in einem Satz voraus – unabhängig von Inhalt und Originalquellen. Weil dieser Prozess unzuverlässig ist, sind Unternehmen bei der Integration in Geschäftsanwendungen noch zurückhaltend.

Ein mahnendes Beispiel ist der Fall der Fluggesellschaft Air Canada, die einem Kunden den Preis für ein Flugticket teilweise zurückerstatten musste, nachdem ihr Chatbot ihm einen Rabatt versprochen hatte. In den USA mussten Anwälte eine Geldstrafe zahlen, nachdem sie bei Gericht angebliche Referenzfälle vorgelegt hatten, die allerdings ChatGPT erfunden hatte.

Zuletzt erregte eine neue, auf generativer KI basierende Suchfunktion von Google Aufsehen. Sie schlug Nutzerinnen und Nutzern zum Beispiel vor, „Klebstoff“ einzusetzen, um Käse an einer Pizza haften zu lassen.

Kritiker wie der US-Wissenschaftler Gary Marcus, der sich seit vielen Jahren mit den Möglichkeiten und Grenzen generativer KI beschäftigt, sagen daher schon einen „KI-Winter“ voraus, ein Ende des aktuellen Hypes. „Die KI, die wir derzeit einsetzen, hat viele grundlegende Probleme“, sagt Marcus.

Zwar gibt es technische Methoden, um Aussagen einer KI automatisch einem Faktencheck zu unterziehen. Das funktioniert aber nur, wenn Datensätze mit allen korrekten Informationen vorliegen.

Die vier Autoren des „Nature“-Artikels, von denen zwei auch bei Googles KI-Abteilung und beim ChatGPT-Entwickler OpenAI arbeiten, schreiben: „Forscher benötigen eine allgemeine Methode zur Erkennung von Halluzinationen bei großen Sprachmodellen, die auch bei neuen und bisher nie dagewesenen Fragen funktioniert, auf die Menschen möglicherweise keine Antwort wissen.“

Sie schlagen vor, eine statistische Methode anzuwenden, die zumindest einen Teil der Halluzinationen verhindern soll – jene problematischen „Konfabulationen“, bei denen die KI willkürlich antwortet. Die Forscher führen als Beispiel die Frage „Wo ist der Eiffelturm?“ an. Darauf antwortet der Chatbot dreimal korrekt mit „Paris“, „Es ist Paris“ und „Frankreichs Hauptstadt Paris“, zweimal nennt er Rom und einmal Berlin.

Abhilfe für derartige Falschantworten könnte laut den Forschern ein Algorithmus bringen, den sie „Unsicherheitsschätzer“ nennen. Er soll die verschiedenen Antworten des Modells auf eine bestimmte Frage kategorisieren und feststellen, wie sicher der Bot in seiner Antwort ist.

Dazu soll ein zweites Sprachmodell eingesetzt werden, das zunächst erkennt, welche Antworten sich nur in der Formulierung unterscheiden („Paris“ und „Es ist Paris“), und welche inhaltlich verschieden sind (Paris und Rom). So könnte der Chatbot bei einem zu hohen Grad der Unsicherheit eine Antwort verweigern oder erklären, dass er keine verlässliche Aussage treffen kann.

Nicht abgedeckt von dieser Methode wären zum Beispiel unzutreffende Aussagen, die auf Fehlern in den zugrundeliegenden Trainingsdaten beruhen. Außerdem können sie nur die Modellanbieter anwenden, um Fakten zu überprüfen, nicht aber die Nutzerinnen und Nutzer.

Philipp Hennig, Professor für die Methoden des Maschinellen Lernens an der Eberhard-Karls-Universität Tübingen, sagt: „Die Studie liefert ein Hilfsmittel, um eine wichtige Form von KI-Fehlverhalten zu erkennen. Sie ist aber kein Allheilmittel.“

Wenn ein KI-Modell von einer objektiv falschen Aussage gewissermaßen „überzeugt“ sei – etwa durch fehlerhafte Trainingsdaten oder schlechtes Training –, helfe die neue Methode nicht weiter. Sie könne sogar eine „falsche Sicherheit“ suggerieren, sagt Hennig.

Barbara Hammer, Professorin für Maschinelles Lernen an der Universität Bielefeld, sagt: „Ich halte den Ansatz im Paper für gut, aber nicht besonders überraschend.“ Sie weist vor allem darauf hin, dass Methoden, bei denen keine externen und verifizierten Informationen vorliegen, immer wieder an Grenzen stoßen müssten.

Rein auf großen Sprachmodellen basierende Ansätze würden auch durch ihre zunehmende Größe und die Menge an Trainingsdaten immer besser. Sie unterlägen aber prinzipiellen Beschränkungen.

Auch adressiere der Vorschlag der Forscher nur einen Teilbereich der Fehler, die von Sprachmodellen produziert werden. Barbara Hammer sagt: „Das Problem genereller Halluzinationen ist aktuell noch weitgehend ungelöst.“