Wikipedia bietet strukturierte Datensätze für KI-Entwicklung

MÜNCHEN (IT BOLTWISE) – Wikipedia hat einen bedeutenden Schritt unternommen, um die Entwicklung von Künstlicher Intelligenz zu unterstützen, indem es speziell aufbereitete Datensätze für KI-Entwickler bereitstellt. Diese Initiative, die über das Google-Projekt Kaggle verfügbar ist, zielt darauf ab, den Zugang zu strukturierten und maschinenlesbaren Inhalten zu erleichtern.

Wikipedia, die weltweit größte Online-Enzyklopädie, hat kürzlich angekündigt, dass sie KI-Entwicklern speziell aufbereitete Datensätze zur Verfügung stellt. Diese Datensätze sind zunächst nur für die englische und französische Sprachversion verfügbar und sollen den Zugang zu sauberen, vorgeparsten Artikeldaten erleichtern. Diese Daten können direkt für Modellierung, Benchmarking und explorative Analysen genutzt werden, ohne dass Entwickler die Inhalte selbst extrahieren müssen.

Das kommerzielle Angebot der Wikimedia Stiftung, Wikimedia Enterprise, hat diese Datensätze über das Google-Projekt Kaggle bereitgestellt. Die englischsprachige Version umfasst rund 80 Gigabyte an Daten, die in Segmente von jeweils 2,15 GB aufgeteilt wurden, während der französische Datensatz etwa 34 GB groß ist. Diese Initiative soll die Arbeit von KI-Entwicklern erheblich erleichtern, indem sie Zugang zu gut strukturierten JSON-Darstellungen von Wikipedia-Inhalten bietet.

Wikimedia betont, dass es keine triviale Aufgabe ist, das in Wikipedia enthaltene Wissen maschinenlesbar zu extrahieren. Die verschiedenen Projekte, Sprachen und Domänen verfügen über ihre eigenen Experten und ihre eigene Art der Datenstrukturierung. Die Datensätze basieren auf der Betaversion der strukturierten Inhalte der Snapshot-API, die Wikimedia-Projektdaten in einem entwicklerfreundlichen Format ausgibt.

Da alle Inhalte aus Wikipedia stammen, sind sie unter den Lizenzen CC-BY-SA 4.0 oder GFDL frei verwendbar. In einigen Fällen könnten auch Public-Domain- oder alternative Lizenzen gelten. Wikimedia verlangt von den Nutzern des Datensatzes, dass sie die Erwartungen an eine ordnungsgemäße Namensnennung erfüllen. In Fällen, in denen eine Namensnennung erforderlich ist, sollten Weiterverwender das Wikimedia-Projekt, aus dem der Inhalt stammt, als Quelle angeben.

Diese Entwicklung könnte weitreichende Auswirkungen auf die KI-Entwicklung haben, da sie den Zugang zu hochwertigen, strukturierten Daten erheblich vereinfacht. Experten sehen darin einen wichtigen Schritt, um die Effizienz und Genauigkeit von KI-Modellen zu verbessern. Die Bereitstellung solcher Daten könnte auch die Innovationskraft in der KI-Forschung und -Entwicklung stärken, indem sie den Zugang zu umfangreichen und vielfältigen Datenquellen erleichtert.

In Zukunft könnte diese Initiative auf weitere Sprachversionen ausgeweitet werden, was die globale KI-Entwicklung weiter vorantreiben würde. Die Möglichkeit, auf strukturierte Wikipedia-Daten zuzugreifen, könnte auch neue Anwendungen und Forschungsergebnisse in der KI-Community inspirieren. Insgesamt stellt diese Entwicklung einen bedeutenden Fortschritt in der Bereitstellung von Daten für die KI-Entwicklung dar.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!