GPT-5 und der Turing-Test: Ein Wendepunkt für Künstliche Intelligenz?

MÜNCHEN (IT BOLTWISE) – Popular AI tools such as GPT-4 generate fluent, human-like text and perform so well on various language tasks it’s becoming increasingly difficult to tell if the person you’re conversing with is human or a machine.

Dieses Szenario spiegelt Alan Turings berühmtes Gedankenexperiment wider, bei dem er einen Test vorschlug, um zu bewerten, ob eine Maschine ein menschliches Verhalten zeigen kann, sodass ein menschlicher Richter allein aufgrund der Antworten nicht mehr zuverlässig zwischen Mensch und Maschine unterscheiden kann.

Das Department of Cognitive Science der UC San Diego wollte wissen, wie moderne KI-Systeme abschneiden, und untersuchte ELIZA (einen einfachen regelbasierten Chatbot aus den 1960er Jahren als Basislinie im Experiment), GPT-3.5 und GPT-4 in einem kontrollierten Turing-Test. Die Teilnehmer führten ein fünfminütiges Gespräch entweder mit einem Menschen oder einer KI und mussten anschließend entscheiden, ob ihr Gesprächspartner ein Mensch war.

Zufallsergebnisse
GPT-4 und GPT-3.5 wurden angewiesen, wie sie auf Nachrichten reagieren sollten. Die Forscher forderten das Modell auf, „die Persona einer jungen Person anzunehmen, die sehr knapp antwortete, das Spiel nicht sehr ernst nahm, Slang benutzte und gelegentlich Rechtschreibfehler machte“. Außerdem enthielt die Eingabeaufforderung „allgemeine Informationen über den Ablauf des Spiels und Informationen über aktuelle Nachrichtenereignisse, die nach dem Trainingsende des Modells stattgefunden hatten“. Die beiden Modelle wurden über die OpenAI-API mit einer Temperatur von 1 abgerufen und um zu verhindern, dass die KI zu schnell antwortet, wurden ihre Nachrichten mit einer Verzögerung basierend auf der Anzahl der Zeichen in der Nachricht gesendet.

In der Studie wurden 500 Teilnehmer in eine von fünf Gruppen eingeteilt. Sie führten ein Gespräch entweder mit einem Menschen oder einem der drei KI-Systeme. Die Spieloberfläche ähnelte einer typischen Messaging-App. Nach fünf Minuten entschieden die Teilnehmer, ob sie glaubten, dass ihr Gesprächspartner ein Mensch oder eine KI war, und gaben Gründe für ihre Entscheidungen an.

Die Ergebnisse waren interessant. GPT-4 wurde in 54% der Fälle als Mensch identifiziert, vor GPT-3.5 (50%), wobei beide ELIZA (22%) deutlich übertrafen, aber hinter den tatsächlichen Menschen (67%) zurückblieben. Die Teilnehmer waren nicht besser als der Zufall darin, GPT-4 als KI zu identifizieren, was darauf hinweist, dass aktuelle KI-Systeme Menschen dazu verleiten können, zu glauben, dass sie menschlich sind.

Die Analyse der Ergebnisse zeigte, dass die Befrager häufig auf sprachlichen Stil, sozio-emotionale Faktoren und wissensbasierte Fragen angewiesen waren, um zu entscheiden, ob sie mit einem Menschen oder einer Maschine sprachen.