Neue Einblicke in die Funktionsweise von KI-Modellen

MÜNCHEN (IT BOLTWISE) – Die Herausforderungen, die mit der Nutzung großer Sprachmodelle einhergehen, sind vielfältig. Eine der größten ist die Neigung dieser Modelle, Informationen zu erfinden, die nicht durch ihre Trainingsdaten gestützt werden. Neue Forschungen von Anthropic bieten nun Einblicke in die inneren Abläufe dieser Modelle und könnten helfen, dieses Problem zu lösen.

Die Nutzung großer Sprachmodelle ist mit der Herausforderung verbunden, dass diese Modelle oft Informationen erfinden, die nicht durch ihre Trainingsdaten gestützt werden. Diese sogenannte Halluzination ist ein bekanntes Problem, das die Zuverlässigkeit solcher Modelle beeinträchtigen kann. Forscher von Anthropic haben nun neue Einblicke in die internen Abläufe dieser Modelle gewonnen, die helfen könnten, dieses Problem zu lösen.

In einer kürzlich veröffentlichten Studie haben die Forscher von Anthropic die neuronalen Netzwerke untersucht, die bei der Entscheidungsfindung eines Sprachmodells wie Claude eine Rolle spielen. Dabei wurde deutlich, dass bestimmte Neuronen, die für die Erkennung bekannter Entitäten zuständig sind, manchmal die Schaltkreise übersteuern, die das Modell dazu bringen sollen, keine Antwort zu geben, wenn es die Antwort nicht kennt.

Die Forscher nutzten ein System von sparsamen Auto-Encodern, um die Gruppen von künstlichen Neuronen zu beleuchten, die aktiviert werden, wenn das Modell auf interne Konzepte wie die ‘Golden Gate Bridge’ oder ‘Programmierfehler’ stößt. Diese Gruppierungen werden als ‘Features’ bezeichnet und beeinflussen, wie das Modell auf Anfragen reagiert.

Ein interessantes Ergebnis der Studie ist, dass das Modell dazu neigt, plausible Antworten zu erraten, wenn es auf relativ unbekannte Fakten oder Themen stößt. Diese Tendenz, immer den Prompt zu vervollständigen, führt dazu, dass Modelle oft raten, wenn die Trainingsdaten spärlich sind. Eine Feinabstimmung des Modells kann helfen, dieses Problem zu mildern, indem es das Modell dazu bringt, als hilfreicher Assistent zu agieren und die Vervollständigung eines Prompts zu verweigern, wenn die relevanten Trainingsdaten fehlen.

Die Forscher fanden heraus, dass das Aktivieren des ‘unbekannten Namens’-Features in den Neuronen eines Modells dazu neigt, einen internen ‘kann nicht antworten’-Schaltkreis zu fördern. Dies ermutigt das Modell, mit einer Antwort zu beginnen, die mit ‘Es tut mir leid, aber ich kann nicht…’ beginnt. In der feinabgestimmten ‘Assistent’-Version des Claude-Modells ist dieser Schaltkreis standardmäßig aktiviert, was das Modell dazu bringt, zögerlich zu antworten, es sei denn, andere aktive Features in seinem neuronalen Netz deuten darauf hin, dass es antworten sollte.

Die Forschung von Anthropic zeigt, dass das künstliche Erhöhen der Gewichte der Neuronen im ‘bekannten Antwort’-Feature Claude dazu bringen kann, selbstbewusst Informationen über völlig erfundene Athleten wie ‘Michael Batkin’ zu halluzinieren. Dies deutet darauf hin, dass zumindest einige der Halluzinationen von Claude auf ein Fehlverhalten des Schaltkreises zurückzuführen sind, der den ‘kann nicht antworten’-Pfad hemmt.

Diese und andere Forschungen zur Funktionsweise von LLMs bieten wichtigen Kontext dafür, wie und warum Modelle die Art von Antworten liefern, die sie tun. Anthropic warnt jedoch, dass der aktuelle Untersuchungsprozess nur einen Bruchteil der gesamten Berechnung erfasst, die von Claude durchgeführt wird, und dass es einige Stunden menschlicher Anstrengung erfordert, um die Schaltkreise und Features zu verstehen, die an einem kurzen Prompt mit Dutzenden von Wörtern beteiligt sind.

Zu den Top-Stories!

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!

Angebot

1.958 Bewertungen

EIlik - Ein Desktop-Begleitroboter mit emotionaler Intelligenz, Multi-Roboter-Interaktionen, Desktop-Robotik-Partner

• NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.

169,00 EUR

Bei Amazon kaufen