OpenAI und die geheime Finanzierung eines bedeutenden Mathematik-Benchmarks

SAN FRANCISCO / MÜNCHEN (IT BOLTWISE) – Die jüngste Enthüllung über die finanzielle Beteiligung von OpenAI an der Entwicklung des Mathematik-Benchmarks FrontierMath hat in der KI-Community für Aufsehen gesorgt. Diese Unterstützung wurde erst bekannt, als OpenAI mit seinem neuen Modell o3 einen Rekord aufstellte.

Die Nachricht, dass OpenAI die Entwicklung des als unabhängig geltenden Mathematik-Benchmarks FrontierMath finanziert hat, kam für viele überraschend. Diese Information wurde erst am 20. Dezember öffentlich, als OpenAI sein neues Modell o3 vorstellte, das mit 25,2 Prozent gelösten Aufgaben einen neuen Rekord aufstellte. Bisherige Modelle hatten lediglich zwei Prozent erreicht, was die Bedeutung dieses Fortschritts unterstreicht.

Der Benchmark, entwickelt von Epoch AI, testet die mathematisch-logischen Fähigkeiten von KI-Modellen anhand komplexer Aufgaben. Die Tatsache, dass OpenAI an der Finanzierung beteiligt war, wurde erst in einer Fußnote der fünften Aktualisierung des wissenschaftlichen Papiers erwähnt. Diese späte Offenlegung wirft Fragen zur Transparenz auf, insbesondere da die mehr als 60 Mathematiker, die an der Entwicklung beteiligt waren, nicht systematisch über die Finanzierung informiert wurden.

Epoch AI räumte Kommunikationsfehler ein. Tamay Besiroglu von Epoch AI erklärte, dass man sich stärker für Transparenz hätte einsetzen müssen. OpenAI hatte vor der Veröffentlichung des Modells o3 Zugang zu einem Großteil der Aufgaben und Lösungen, jedoch blieb ein separater Datensatz unter Verschluss, um unabhängige Überprüfungen zu ermöglichen.

Eine mündliche Vereinbarung soll verhindern, dass OpenAI das bereitgestellte Material zum Training von Modellen verwendet. Diese Maßnahme soll eine Optimierung speziell für den Benchmark und die weitere Verbreitung der Aufgaben verhindern. Besiroglu betonte, dass man in Zukunft bei Kooperationen von Anfang an auf volle Transparenz bestehen wolle.

Die mangelnde Transparenz stellt nicht zwangsläufig die Qualität und Bedeutung des Benchmarks in Frage. Elliot Glazer, leitender Mathematiker bei Epoch AI, erklärte, dass OpenAI die Ergebnisse korrekt dargestellt habe, jedoch könne Epoch AI dies erst bestätigen, wenn das Modell mithilfe eines in der Entwicklung befindlichen Testdatensatzes unabhängig evaluiert wurde.

Bei einem so bedeutenden Instrument zur KI-Bewertung wäre von Anfang an maximale Offenheit wünschenswert gewesen. KI-Benchmarking ist ein komplexes Gebilde, bei dem die realen Auswirkungen eines Modells anhand von Benchmark-Resultaten schwer zu prognostizieren sind. Die Resultate hängen stark von Messmethoden, Prompts und anderen Modelloptimierungen ab. Gleichzeitig sind Benchmark-Ergebnisse ein Instrument, um Aufsehen zu erzeugen und Investorengelder anzuziehen.