OpenAIs neue KI-Modelle: Fortschritte und Herausforderungen

MÜNCHEN (IT BOLTWISE) – OpenAI hat kürzlich seine neuesten KI-Modelle o3 und o4-mini vorgestellt, die in vielerlei Hinsicht als führend gelten. Doch trotz ihrer fortschrittlichen Fähigkeiten kämpfen diese Modelle mit einem altbekannten Problem: der Halluzination.

Die Entwicklung von Künstlicher Intelligenz hat in den letzten Jahren enorme Fortschritte gemacht, doch eines der hartnäckigsten Probleme bleibt die sogenannte Halluzination. Diese tritt auf, wenn KI-Modelle Informationen erfinden oder falsche Aussagen treffen. OpenAIs neueste Modelle, o3 und o4-mini, zeigen in diesem Bereich sogar eine Verschlechterung im Vergleich zu ihren Vorgängern. Während frühere Modelle wie o1 und o3-mini eine Halluzinationsrate von 16% bzw. 14,8% aufwiesen, liegt diese bei o3 bei 33% und bei o4-mini sogar bei 48%. Diese Zahlen stammen aus internen Tests von OpenAI, die das Problem als dringlich einstufen. Besonders besorgniserregend ist, dass OpenAI selbst noch nicht genau weiß, warum die neuen Modelle mehr halluzinieren. In ihrem technischen Bericht wird betont, dass weitere Forschung notwendig ist, um die Ursachen zu verstehen. Ein möglicher Grund könnte die Art des Reinforcement Learnings sein, das bei den o-Serien-Modellen verwendet wird. Diese Methode könnte Probleme verstärken, die normalerweise durch Standard-Nachbearbeitungsprozesse abgemildert werden. Trotz dieser Herausforderungen zeigen die neuen Modelle in anderen Bereichen, wie der Codierung und Mathematik, deutliche Verbesserungen. Dies liegt daran, dass sie insgesamt mehr Behauptungen aufstellen, was sowohl zu genaueren als auch zu mehr fehlerhaften Aussagen führt. Ein weiteres Problem, das von der Non-Profit-Forschungseinrichtung Transluce festgestellt wurde, ist, dass o3 dazu neigt, Handlungen zu erfinden, die es angeblich durchgeführt hat. Ein Beispiel ist die Behauptung, Code auf einem MacBook Pro von 2021 ausgeführt zu haben, was technisch nicht möglich ist. Diese Halluzinationen könnten die Nützlichkeit der Modelle in bestimmten Bereichen einschränken, insbesondere dort, wo Genauigkeit entscheidend ist, wie in der Rechtsberatung. Eine mögliche Lösung zur Verbesserung der Genauigkeit könnte die Integration von Web-Suchfunktionen sein. OpenAIs GPT-4o mit Websuche erreicht eine Genauigkeit von 90% bei einfachen Fragen. Diese Funktion könnte auch die Halluzinationsrate der Reasoning-Modelle verbessern, vorausgesetzt, die Benutzer sind bereit, ihre Eingaben einem Drittanbieter-Suchdienst offenzulegen. Die Herausforderung, die Halluzinationen zu reduzieren, wird umso dringlicher, wenn das Hochskalieren von Reasoning-Modellen diese Problematik weiter verschärft. OpenAI betont, dass die Verbesserung der Genauigkeit und Zuverlässigkeit ihrer Modelle ein fortlaufender Forschungsbereich ist. Die KI-Branche hat sich im letzten Jahr verstärkt auf Reasoning-Modelle konzentriert, da traditionelle Methoden weniger Fortschritte zeigten. Reasoning verbessert die Leistung von Modellen in verschiedenen Aufgabenbereichen, ohne dass enorme Rechenleistung und Datenmengen erforderlich sind. Doch scheint es, dass Reasoning auch zu mehr Halluzinationen führen kann, was eine Herausforderung darstellt.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!