KI-Modelle übertreffen Experten in der Vorhersage von Neurowissenschaften-Ergebnissen

MÜNCHEN (IT BOLTWISE) – In der modernen Wissenschaft, wo die Menge an veröffentlichten Arbeiten exponentiell wächst, wird die Integration von Erkenntnissen zunehmend komplexer. Eine aktuelle Studie zeigt, dass große Sprachmodelle (LLMs) menschliche Experten bei der Vorhersage von Ergebnissen in der Neurowissenschaft übertreffen.

Die rasante Entwicklung der Künstlichen Intelligenz (KI) hat bereits in vielen Bereichen wie der Proteinfaltung und der Medikamentenentwicklung beeindruckende Fortschritte erzielt. Nun zeigt eine Studie, dass große Sprachmodelle (LLMs) auch in der Lage sind, Ergebnisse in der Neurowissenschaft präziser vorherzusagen als menschliche Experten. Diese Erkenntnis könnte das Potenzial haben, die Art und Weise, wie wissenschaftliche Entdeckungen gemacht werden, grundlegend zu verändern.

Die Studie, die in der renommierten Zeitschrift Nature Human Behaviour veröffentlicht wurde, untersuchte die Fähigkeit von LLMs, Ergebnisse aus der Neurowissenschaft vorherzusagen. Hierfür entwickelten Xiaoliang Luo und sein Team BrainBench, ein Benchmark, das die Vorhersagefähigkeiten von LLMs mit denen von menschlichen Experten vergleicht. BrainBench umfasste 200 Testfälle, die auf Forschungsabstracts basierten, wobei die Teilnehmer entscheiden mussten, welche Version eines Abstracts korrekt war.

Die menschlichen Teilnehmer der Studie waren 171 Neurowissenschaftler mit durchschnittlich zehn Jahren Erfahrung. Auf der KI-Seite wurden sowohl allgemeine LLMs als auch BrainGPT, ein speziell auf Neurowissenschaften abgestimmtes Modell, getestet. BrainGPT wurde mit über 1,3 Milliarden Tokens aus der neurowissenschaftlichen Literatur trainiert und zeigte in allen fünf untersuchten Teilbereichen der Neurowissenschaften überlegene Leistungen.

Die Ergebnisse waren beeindruckend: LLMs erreichten eine durchschnittliche Genauigkeit von 81,4 %, während die menschlichen Experten nur 63,4 % erreichten. BrainGPT übertraf die allgemeinen LLMs sogar um weitere 3 %. Diese Leistung ist auf die Fähigkeit der LLMs zurückzuführen, Informationen aus dem gesamten Abstract zu integrieren, anstatt sich auf isolierte Details zu stützen. Dies zeigt, dass LLMs in der Lage sind, Muster in der neurowissenschaftlichen Forschung zu erkennen, was ihr Potenzial zur Unterstützung wissenschaftlicher Entdeckungen unterstreicht.

Ein wichtiger Aspekt der Studie war die Sicherstellung, dass die Testfälle nicht in den Trainingsdaten der LLMs enthalten waren, um die Möglichkeit der Memorierung auszuschließen. Dies unterstreicht die Fähigkeit der Modelle, echte Muster zu erkennen und nicht nur bekannte Informationen abzurufen.

Die Autoren der Studie weisen jedoch darauf hin, dass die Erstellung von BrainBench sehr arbeitsintensiv ist. Zudem besteht die Gefahr, dass sich Forscher zu sehr auf KI-Vorhersagen verlassen und dadurch möglicherweise innovative Studien, die den KI-Vorhersagen widersprechen, nicht mehr verfolgen.

Diese Studie könnte weitreichende Implikationen für die Zukunft der wissenschaftlichen Forschung haben, indem sie zeigt, dass KI-Modelle nicht nur als Werkzeuge zur Datenanalyse, sondern auch als aktive Teilnehmer im wissenschaftlichen Entdeckungsprozess fungieren können.