Wikimedia kämpft gegen steigende KI-Crawler-Belastung

MÜNCHEN (IT BOLTWISE) – Die zunehmende Nutzung von KI-Crawlern stellt die Infrastruktur von Wikimedia Commons vor erhebliche Herausforderungen. Seit Anfang 2024 ist der Bandbreitenverbrauch für Multimedia-Downloads um 50 % gestiegen, was nicht auf den Wissensdurst von Menschen, sondern auf automatisierte Datenabfragen zurückzuführen ist.

Die Wikimedia Foundation, bekannt für ihre Plattform Wikipedia und andere Wissensprojekte, sieht sich mit einer dramatischen Zunahme des Bandbreitenverbrauchs konfrontiert. Diese Entwicklung ist nicht auf eine wachsende Anzahl von menschlichen Nutzern zurückzuführen, sondern auf KI-Crawler, die Daten für die Modellierung von Künstlicher Intelligenz sammeln. Diese Bots verursachen eine erhebliche Belastung der Infrastruktur, die ursprünglich für plötzliche Verkehrsspitzen durch menschliche Nutzer ausgelegt war.

Ein Großteil der von den Bots verursachten Belastung resultiert aus der Art und Weise, wie sie auf Inhalte zugreifen. Während menschliche Nutzer oft ähnliche Themen ansteuern, durchforsten Crawler-Bots große Mengen an Seiten, einschließlich weniger populärer Inhalte. Diese Anfragen werden häufig an das zentrale Rechenzentrum weitergeleitet, was die Kosten für die Bereitstellung der Inhalte erheblich erhöht.

Die Wikimedia Foundation hat bereits Maßnahmen ergriffen, um die Auswirkungen dieser Bots zu minimieren. Das Team für die Zuverlässigkeit der Website investiert erhebliche Ressourcen, um Crawler zu blockieren und so die Benutzererfahrung für reguläre Nutzer zu schützen. Diese Maßnahmen sind jedoch kostspielig und stellen die Organisation vor finanzielle Herausforderungen, insbesondere im Hinblick auf die Cloud-Kosten.

Diese Problematik ist Teil eines größeren Trends, der die Existenz des offenen Internets bedroht. Entwickler und Open-Source-Befürworter beklagen, dass KI-Crawler häufig die „robots.txt“-Dateien ignorieren, die automatisierten Traffic abwehren sollen. Einige Unternehmen, wie Cloudflare, haben bereits Lösungen entwickelt, um die Crawler zu verlangsamen, doch bleibt es ein Katz-und-Maus-Spiel.

Die langfristigen Auswirkungen dieser Entwicklung könnten dazu führen, dass viele Verlage gezwungen sind, ihre Inhalte hinter Logins und Bezahlschranken zu verstecken. Dies wäre ein Rückschritt für die Zugänglichkeit von Informationen im Internet und könnte die Art und Weise, wie Wissen geteilt wird, grundlegend verändern.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!