OpenAI testet KI-Überzeugungskraft auf Reddit

SAN FRANCISCO / MÜNCHEN (IT BOLTWISE) – OpenAI hat die Plattform Reddit genutzt, um die Überzeugungskraft seiner KI-Modelle zu testen. Diese Tests fanden auf dem Subreddit r/ChangeMyView statt, einer Community, in der Nutzer ihre Meinungen teilen und andere dazu einladen, sie zu ändern.

OpenAI hat kürzlich bekannt gegeben, dass es den Subreddit r/ChangeMyView als Testumgebung für seine KI-Modelle genutzt hat, um deren Überzeugungskraft zu messen. Diese Enthüllung erfolgte im Rahmen der Veröffentlichung des neuen “Reasoning”-Modells o3-mini. Millionen von Reddit-Nutzern sind Mitglieder dieser Community, die sich darauf spezialisiert hat, kontroverse Meinungen zu diskutieren und zu hinterfragen.

Der Subreddit stellt eine wertvolle Datenquelle für Technologieunternehmen dar, die ihre KI-Modelle mit qualitativ hochwertigen, von Menschen generierten Daten trainieren möchten. OpenAI sammelt Beiträge von Nutzern und lässt seine KI-Modelle in einer geschlossenen Umgebung Antworten verfassen, die die Meinung der ursprünglichen Poster ändern sollen. Diese Antworten werden dann von Testern auf ihre Überzeugungskraft hin bewertet.

Interessanterweise hat OpenAI einen Content-Lizenzvertrag mit Reddit abgeschlossen, der es dem Unternehmen erlaubt, auf Reddit-Daten zuzugreifen und diese in seinen Produkten anzuzeigen. Es bleibt jedoch unklar, wie OpenAI auf die Daten von r/ChangeMyView zugegriffen hat, da das Unternehmen betont, dass diese Evaluierung unabhängig von dem Reddit-Deal ist.

Obwohl OpenAI bereits zuvor ähnliche Tests mit dem Modell o1 durchgeführt hat, zeigt die aktuelle Nutzung des Subreddits, wie wertvoll menschliche Daten für die Entwicklung von KI-Modellen sind. Gleichzeitig wirft es Fragen über die Methoden auf, mit denen Technologieunternehmen an solche Datensätze gelangen.

Reddit hat sich bisher nicht zu den Anfragen geäußert, während OpenAI in mehreren Klagen beschuldigt wird, Websites unrechtmäßig gescrapt zu haben, um mehr Trainingsdaten zu erhalten. Diese Vorwürfe betreffen unter anderem die New York Times.

In Bezug auf die Leistung des o3-mini-Modells zeigt sich, dass es nicht signifikant besser oder schlechter abschneidet als seine Vorgänger, jedoch insgesamt überzeugender als die meisten Menschen auf r/ChangeMyView ist. OpenAI betont, dass das Ziel nicht darin besteht, hyper-überzeugende KI-Modelle zu schaffen, sondern sicherzustellen, dass diese nicht zu überzeugend werden, um Missbrauch zu verhindern.

Die Herausforderung für Entwickler besteht weiterhin darin, qualitativ hochwertige Datensätze zu finden, um ihre Modelle zu testen. Der ChangeMyView-Benchmark verdeutlicht, dass trotz umfangreicher Datenquellen im Internet die Suche nach geeigneten Testdaten kompliziert bleibt.

• IT BOLTWISE® kostenlos auf Patreon unterstützen!
• Zur Startseite von IT BOLTWISE® für aktuelle KI-News!