Herausforderungen der KI in der Geschichtsforschung

MÜNCHEN (IT BOLTWISE) – Künstliche Intelligenz hat in vielen Bereichen beeindruckende Fortschritte gemacht, doch in der Geschichtsforschung stößt sie an ihre Grenzen. Eine aktuelle Studie zeigt, dass KI-Modelle wie GPT-4 Turbo bei komplexen historischen Fragestellungen oft versagen.

Künstliche Intelligenz hat in den letzten Jahren in vielen Bereichen, von der Programmierung bis zur Erstellung von Podcasts, bemerkenswerte Fortschritte erzielt. Doch eine aktuelle Studie zeigt, dass KI-Modelle wie GPT-4 Turbo bei der Beantwortung historischer Fragen oft an ihre Grenzen stoßen. Die Studie, die auf der renommierten NeurIPS-Konferenz vorgestellt wurde, testete die Fähigkeiten von drei führenden Large Language Models (LLMs) – GPT-4 Turbo von OpenAI, Llama von Meta und Gemini von Google – in Bezug auf ihr Wissen über Geschichte.

Die Forscher entwickelten einen neuen Maßstab namens Hist-LLM, der die Genauigkeit der Antworten anhand der Seshat Global History Databank überprüft. Die Ergebnisse waren ernüchternd: Das beste Modell, GPT-4 Turbo, erreichte eine Trefferquote von nur 46 Prozent, was kaum über dem Niveau des bloßen Ratens liegt. Dies verdeutlicht die Herausforderungen, denen sich KI-Modelle bei der Verarbeitung komplexer historischer Daten gegenübersehen.

Maria del Rio-Chanona, Mitautorin der Studie und Informatik-Professorin am University College London, erklärt, dass LLMs zwar beeindruckend sind, ihnen jedoch die Tiefe des Verständnisses für fortgeschrittene geschichtliche Fragestellungen fehlt. Während sie für grundlegende Fakten geeignet sind, versagen sie bei nuancierteren, auf PhD-Niveau angesiedelten historischen Anfragen. Ein Beispiel hierfür ist die Frage nach Schuppenpanzern im antiken Ägypten, auf die GPT-4 Turbo fälschlicherweise mit “Ja” antwortete, obwohl diese erst 1.500 Jahre später erschienen.

Besondere Schwierigkeiten zeigten die Modelle bei Fragen zu Regionen wie Afrika südlich der Sahara, was auf mögliche Verzerrungen im Trainingsmaterial hinweist. Trotz dieser Schwächen sehen die Forscher Potenzial darin, dass LLMs Historikern zukünftig helfen könnten. Sie arbeiten daran, ihre Maßstäbe durch mehr Daten aus unterrepräsentierten Regionen zu verfeinern und komplexere Fragen zu integrieren.

Peter Turchin, Studienleiter und Fakultätsmitglied des Complexity Science Hub, betont, dass LLMs in bestimmten Bereichen Menschen nicht ersetzen können. Dennoch unterstreicht das Papier die Möglichkeit, dass diese Modelle in der historischen Forschung nützlich sein könnten. Die Integration verbesserter Daten und die Entwicklung spezialisierter Modelle könnten Historikern helfen, neue Erkenntnisse zu gewinnen und die Effizienz ihrer Forschung zu steigern.

Die Studie wirft ein Licht auf die Notwendigkeit, die Trainingsdaten für KI-Modelle zu diversifizieren und zu erweitern, um Verzerrungen zu minimieren und die Genauigkeit zu erhöhen. Dies ist besonders wichtig in der Geschichtsforschung, wo der Zugang zu umfassenden und vielfältigen Daten entscheidend ist. Die Forscher hoffen, dass zukünftige Entwicklungen in der KI-Technologie Historikern wertvolle Werkzeuge an die Hand geben werden, um die Vergangenheit besser zu verstehen.