KI-Generierte Forschung: Ein Blick auf die Herausforderungen und Chancen

TOKIO / MÜNCHEN (IT BOLTWISE) – Die Rolle der Künstlichen Intelligenz in der wissenschaftlichen Forschung sorgt für immer mehr Diskussionen. Ein japanisches Startup namens Sakana behauptet, dass seine KI das erste von Experten begutachtete wissenschaftliche Papier erstellt hat. Doch diese Behauptung ist mit einigen Einschränkungen verbunden.

Die Debatte über die Rolle der Künstlichen Intelligenz (KI) in der wissenschaftlichen Forschung wird zunehmend intensiver. Während einige Forscher skeptisch sind, ob KI bereit ist, als “Mitwissenschaftler” zu fungieren, sehen andere Potenzial, erkennen jedoch an, dass es noch früh ist. Sakana, ein japanisches Startup, gehört zur letzteren Gruppe.

Das Unternehmen behauptet, ein KI-System namens The AI Scientist-v2 entwickelt zu haben, das ein wissenschaftliches Papier generierte, welches dann bei einem Workshop der ICLR, einer renommierten KI-Konferenz, eingereicht wurde. Sakana gibt an, dass die Organisatoren des Workshops und die Leitung der ICLR zugestimmt haben, mit dem Unternehmen zusammenzuarbeiten, um ein Experiment zur doppelblinden Begutachtung von KI-generierten Manuskripten durchzuführen.

Sakana arbeitete mit Forschern der University of British Columbia und der University of Oxford zusammen, um drei KI-generierte Papiere für den genannten Workshop zur Begutachtung einzureichen. Laut Sakana generierte The AI Scientist-v2 die Papiere “end-to-end”, einschließlich wissenschaftlicher Hypothesen, Experimente und experimenteller Codes, Datenanalysen, Visualisierungen, Texte und Titel.

Ein Papier wurde schließlich für den Workshop akzeptiert, das sich kritisch mit Trainingsmethoden für KI-Modelle auseinandersetzt. Sakana zog das Papier jedoch sofort zurück, um Transparenz zu wahren und die Konventionen der ICLR zu respektieren.

Die Errungenschaft ist jedoch nicht so beeindruckend, wie es auf den ersten Blick scheint. In einem Blogbeitrag gibt Sakana zu, dass seine KI gelegentlich “peinliche” Zitierfehler machte, wie zum Beispiel die falsche Zuordnung einer Methode zu einem Papier von 2016 anstelle des ursprünglichen Werks von 1997.

Das Papier von Sakana unterzog sich auch nicht so viel Prüfung wie einige andere begutachtete Veröffentlichungen. Da das Unternehmen es nach der ersten Begutachtung zurückzog, erhielt das Papier keine zusätzliche “Meta-Review”, bei der es theoretisch hätte abgelehnt werden können.

Die Akzeptanzraten für Konferenz-Workshops sind in der Regel höher als die für den Hauptkonferenz-Track, was Sakana in seinem Blogbeitrag offen erwähnt. Das Unternehmen sagte, dass keines seiner KI-generierten Studien die internen Anforderungen für eine Veröffentlichung im ICLR-Konferenz-Track erfüllte.

Matthew Guzdial, ein KI-Forscher und Assistenzprofessor an der University of Alberta, bezeichnete die Ergebnisse von Sakana als “etwas irreführend”. Er betonte, dass die Auswahl der Papiere durch menschliches Urteil erfolgte, was zeigt, dass Menschen zusammen mit KI effektiv sein können, nicht dass KI allein wissenschaftlichen Fortschritt schaffen kann.

Mike Cook, ein Forschungsstipendiat am King’s College London, der sich auf KI spezialisiert hat, stellte die Strenge der Gutachter und des Workshops in Frage. Er bemerkte, dass neue Workshops oft von jüngeren Forschern begutachtet werden und dass es einfacher sein könnte, eine KI dazu zu bringen, überzeugend über ein Scheitern zu schreiben.

Cook fügte hinzu, dass es nicht überraschend sei, dass eine KI die Begutachtung bestehen kann, da KI im Schreiben von menschenähnlichem Prosa hervorragend ist. Teilweise KI-generierte Papiere, die die Begutachtung von Zeitschriften bestehen, sind nicht einmal neu, und auch nicht die ethischen Dilemmata, die dies für die Wissenschaften darstellt.

Die technischen Mängel der KI, wie ihre Neigung zu Halluzinationen, machen viele Wissenschaftler vorsichtig, sie für ernsthafte Arbeiten zu unterstützen. Experten befürchten zudem, dass KI einfach Lärm in der wissenschaftlichen Literatur erzeugen könnte, anstatt Fortschritte zu fördern.

Sakana, zu seinem Verdienst, behauptet nicht, dass seine KI bahnbrechende oder gar besonders neuartige wissenschaftliche Arbeiten produzieren kann. Vielmehr war das Ziel des Experiments, die Qualität der KI-generierten Forschung zu untersuchen und auf die dringende Notwendigkeit von Normen für KI-generierte Wissenschaft hinzuweisen.

“Es gibt schwierige Fragen darüber, ob [KI-generierte] Wissenschaft zuerst nach ihren eigenen Verdiensten beurteilt werden sollte, um Vorurteile dagegen zu vermeiden”, schrieb das Unternehmen. “In Zukunft werden wir weiterhin Meinungen mit der Forschungsgemeinschaft über den Stand dieser Technologie austauschen, um sicherzustellen, dass sie sich nicht zu einer Situation entwickelt, in der ihr einziger Zweck darin besteht, die Begutachtung zu bestehen und damit den Sinn des wissenschaftlichen Begutachtungsprozesses erheblich zu untergraben.”

Zu den Top-Stories!

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!

Angebot

1.925 Bewertungen

EIlik - Ein Desktop-Begleitroboter mit emotionaler Intelligenz, Multi-Roboter-Interaktionen, Desktop-Robotik-Partner

• NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.

169,00 EUR

Bei Amazon kaufen