KI-Entwickler Anthropic für rücksichtsloses Web-Crawling kritisiert

MÜNCHEN (IT BOLTWISE) – KI-Entwickler Anthropic sieht sich heftiger Kritik aufgrund angeblich aggressiver Data-Scraping-Praktiken ausgesetzt. Webseiten-Betreiber berichten, dass die Bots von Anthropic in erheblichem Umfang ihre Webseiten crawlen, auch wenn dies in der robots.txt-Datei untersagt ist.

Mehrere Betreiber von Webseiten, darunter Matt Barrie, CEO von Freelancer.com, und Kyle Wiens, Chef von iFixit.com, haben erklärt, dass die von Anthropics Web-Crawler Claude verursachten Zugriffszahlen den normalen Betrieb ihrer Plattformen beeinträchtigen. Barrie bezeichnete Anthropics Crawler als den „bei weitem aggressivsten“ auf seiner Plattform und gab an, dass Freelancer.com innerhalb von nur vier Stunden 3,5 Millionen Zugriffe von einem mit Anthropic verbundenen Crawler verzeichnete. Diese Zahl sei etwa fünfmal so hoch wie die des zweitgrößten KI-Crawlers.

Auch Wiens berichtet, dass iFixit.com innerhalb von 24 Stunden eine Million Zugriffe von Anthropics Bots erhalten habe. Dies führt zu erheblichen Traffic-Kosten für die betroffenen Unternehmen.

Anthropic, das sich selbst als Entwickler verantwortungsvoller KI-Systeme sieht, gab an, die gemeldeten Vorfälle zu untersuchen und die Wünsche der Herausgeber zu respektieren. Laut Aussagen des Unternehmens halte man sich an Standard-Webprotokolle wie robots.txt, die das Verhalten von Crawlern regeln sollen. Dennoch berichten einige Webseiten-Betreiber, dass ihre Versuche, den Zugriff auf die Bots von Anthropic zu verweigern, erfolglos gewesen seien.

Im Wettbewerb um die Entwicklung leistungsfähigerer KI-Modelle suchen Unternehmen zunehmend nach neuen Quellen für Trainingsdaten. Während einige, wie OpenAI, Partnerschaften mit Inhaltsanbietern eingegangen sind, hat Anthropic bisher keine vergleichbaren Vereinbarungen bekannt gegeben.