Studie zeigt: KI-Suchmaschinen liefern oft falsche Antworten

MÜNCHEN (IT BOLTWISE) – Eine aktuelle Studie des Columbia Journalism Review hat erhebliche Genauigkeitsprobleme bei generativen KI-Modellen aufgedeckt, die für Nachrichtensuchen verwendet werden. Diese Untersuchung wirft ein kritisches Licht auf die Zuverlässigkeit dieser Technologien, die zunehmend als Alternative zu traditionellen Suchmaschinen genutzt werden.

Die Untersuchung des Tow Center for Digital Journalism der Columbia Journalism Review hat alarmierende Ergebnisse über die Genauigkeit von KI-gestützten Suchdiensten zutage gefördert. Bei Tests von acht verschiedenen KI-Suchwerkzeugen, die mit Live-Suchfunktionen ausgestattet sind, stellte sich heraus, dass die Modelle in über 60 Prozent der Fälle falsche Antworten auf Anfragen zu Nachrichteninhalten lieferten. Besonders besorgniserregend ist, dass etwa ein Viertel der Amerikaner diese KI-Modelle bereits als Alternative zu herkömmlichen Suchmaschinen nutzt, was angesichts der hohen Fehlerquote erhebliche Bedenken hinsichtlich der Zuverlässigkeit aufwirft. Die Fehlerquoten variierten stark zwischen den getesteten Plattformen. Während Perplexity in 37 Prozent der Anfragen falsche Informationen lieferte, identifizierte ChatGPT Search 67 Prozent der abgefragten Artikel falsch. Grok 3 wies mit 94 Prozent die höchste Fehlerquote auf. Für die Tests gaben die Forscher direkte Auszüge aus tatsächlichen Nachrichtenartikeln in die KI-Modelle ein und fragten nach der Überschrift, dem ursprünglichen Herausgeber, dem Veröffentlichungsdatum und der URL des Artikels.

Insgesamt wurden 1.600 Anfragen über die acht verschiedenen generativen Suchwerkzeuge durchgeführt. Ein häufiges Problem bei diesen KI-Modellen war, dass sie, anstatt auf eine Antwort zu verzichten, wenn sie keine zuverlässigen Informationen hatten, oft plausible, aber falsche oder spekulative Antworten gaben. Diese Verhaltensweise war bei allen getesteten Modellen konsistent und nicht auf ein einzelnes Werkzeug beschränkt. Überraschenderweise schnitten die kostenpflichtigen Premium-Versionen dieser KI-Suchwerkzeuge in bestimmten Aspekten noch schlechter ab. Perplexity Pro und Grok 3’s Premium-Service lieferten häufiger falsche Antworten als ihre kostenlosen Gegenstücke. Obwohl diese Premium-Modelle eine höhere Anzahl von Anfragen korrekt beantworteten, führte ihre Zurückhaltung, unsichere Antworten abzulehnen, zu höheren Gesamtfehlerquoten. Die Forscher des CJR fanden auch Hinweise darauf, dass einige KI-Tools die Einstellungen des Robot Exclusion Protocol ignorierten, die Verlage verwenden, um unbefugten Zugriff zu verhindern.

Beispielsweise identifizierte die kostenlose Version von Perplexity korrekt alle 10 Auszüge aus dem kostenpflichtigen Inhalt von National Geographic, obwohl National Geographic ausdrücklich den Zugriff von Perplexitys Webcrawlern untersagt hatte. Selbst wenn diese KI-Suchwerkzeuge Quellen zitierten, leiteten sie die Nutzer oft zu syndizierten Versionen von Inhalten auf Plattformen wie Yahoo News, anstatt zu den ursprünglichen Verlagswebsites. Dies geschah selbst in Fällen, in denen Verlage formelle Lizenzvereinbarungen mit KI-Unternehmen hatten. Die Erstellung von URL-Fälschungen stellte ein weiteres erhebliches Problem dar. Mehr als die Hälfte der Zitate von Googles Gemini und Grok 3 führten Nutzer zu gefälschten oder defekten URLs, die zu Fehlerseiten führten. Von 200 getesteten Zitaten von Grok 3 führten 154 zu defekten Links. Diese Probleme schaffen erhebliche Spannungen für Verlage, die vor schwierigen Entscheidungen stehen. Das Blockieren von KI-Crawlern könnte zu einem vollständigen Verlust der Attribution führen, während ihre Zulassung eine weit verbreitete Wiederverwendung ohne Rückführung des Traffics auf die eigenen Websites der Verlage ermöglicht.

Mark Howard, Chief Operating Officer bei Time Magazine, äußerte gegenüber dem CJR Bedenken hinsichtlich der Transparenz und Kontrolle darüber, wie die Inhalte von Time über KI-generierte Suchen erscheinen. Trotz dieser Probleme sieht Howard Raum für Verbesserungen in zukünftigen Iterationen und verweist auf erhebliche Investitionen und technische Bemühungen zur Verbesserung dieser Werkzeuge. Er wies jedoch auch darauf hin, dass es die Schuld der Nutzer sei, wenn sie nicht skeptisch gegenüber der Genauigkeit kostenloser KI-Tools seien: „Wenn jemand als Verbraucher jetzt glaubt, dass eines dieser kostenlosen Produkte zu 100 Prozent genau sein wird, dann schämen Sie sich.“ OpenAI und Microsoft gaben Erklärungen an das CJR ab, in denen sie den Erhalt der Ergebnisse anerkannten, jedoch nicht direkt auf die spezifischen Probleme eingingen. OpenAI betonte sein Versprechen, Verlage durch Zusammenfassungen, Zitate, klare Links und Attribution zu unterstützen. Microsoft erklärte, dass es sich an die Robot Exclusion Protocols und die Anweisungen der Verlage hält. Der neueste Bericht baut auf früheren Erkenntnissen auf, die das Tow Center im November 2024 veröffentlicht hat und die ähnliche Genauigkeitsprobleme bei der Behandlung von nachrichtenbezogenen Inhalten durch ChatGPT identifizierten.

Zu den Top-Stories!

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!

Angebot

1.928 Bewertungen

EIlik - Ein Desktop-Begleitroboter mit emotionaler Intelligenz, Multi-Roboter-Interaktionen, Desktop-Robotik-Partner

• NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.

169,00 EUR

Bei Amazon kaufen