Die steigenden Kosten der KI-Benchmarking-Tests

MÜNCHEN (IT BOLTWISE) – Die Entwicklung von KI-Modellen, die in der Lage sind, komplexe Probleme schrittweise zu lösen, hat in der Technologiebranche für Aufsehen gesorgt. Diese sogenannten ‘Reasoning’-Modelle, die von führenden KI-Laboren wie OpenAI entwickelt werden, versprechen eine höhere Leistungsfähigkeit in spezifischen Bereichen wie der Physik. Doch mit dieser gesteigerten Leistungsfähigkeit gehen auch erhebliche Kosten für die Benchmarking-Tests einher, die es erschweren, die Behauptungen der Hersteller unabhängig zu überprüfen.

Die Benchmarking-Kosten für diese fortschrittlichen KI-Modelle sind erheblich gestiegen. Laut Daten von Artificial Analysis, einem unabhängigen Testunternehmen, belaufen sich die Kosten für die Evaluierung des OpenAI o1 Reasoning-Modells auf 2.767,05 US-Dollar, wenn es über sieben gängige KI-Benchmarks getestet wird. Diese Benchmarks umfassen MMLU-Pro, GPQA Diamond, Humanity’s Last Exam, LiveCodeBench, SciCode, AIME 2024 und MATH-500.

Im Vergleich dazu kostete die Evaluierung des Claude 3.7 Sonnet von Anthropic, einem hybriden Reasoning-Modell, 1.485,35 US-Dollar, während die Tests des OpenAI o3-mini-high nur 344,59 US-Dollar kosteten. Einige Reasoning-Modelle sind günstiger zu testen, wie das OpenAI o1-mini, das mit 141,22 US-Dollar zu Buche schlug. Insgesamt hat Artificial Analysis rund 5.200 US-Dollar für die Evaluierung von etwa einem Dutzend Reasoning-Modellen ausgegeben, fast doppelt so viel wie für die Analyse von über 80 Nicht-Reasoning-Modellen.

Die hohen Kosten sind vor allem darauf zurückzuführen, dass Reasoning-Modelle eine große Anzahl von Tokens generieren. Tokens sind die kleinsten Einheiten von Text, die ein Modell verarbeitet. Zum Beispiel wird das Wort ‘fantastic’ in die Silben ‘fan’, ‘tas’ und ‘tic’ aufgeteilt. OpenAI’s o1 generierte während der Tests über 44 Millionen Tokens, etwa achtmal so viele wie das GPT-4o.

Die meisten KI-Unternehmen berechnen die Nutzung ihrer Modelle nach der Anzahl der generierten Tokens, was die Kosten in die Höhe treibt. Moderne Benchmarks fordern von den Modellen oft komplexe, mehrstufige Aufgaben, die eine hohe Token-Generierung erfordern. Jean-Stanislas Denain, ein leitender Forscher bei Epoch AI, erklärt, dass heutige Benchmarks die Fähigkeit der Modelle testen, reale Aufgaben zu bewältigen, wie das Schreiben und Ausführen von Code oder das Surfen im Internet.

Denain fügt hinzu, dass die teuersten Modelle im Laufe der Zeit pro Token teurer geworden sind. Zum Beispiel kostete das Claude 3 Opus von Anthropic bei seiner Veröffentlichung im Mai 2024 70 US-Dollar pro Million ausgegebener Tokens. OpenAI’s GPT-4.5 und o1-pro, die beide Anfang dieses Jahres auf den Markt kamen, kosten 150 US-Dollar bzw. 600 US-Dollar pro Million Tokens.

Viele KI-Labore, darunter OpenAI, bieten Benchmarking-Organisationen kostenlosen oder subventionierten Zugang zu ihren Modellen für Testzwecke. Doch einige Experten warnen, dass dies die Ergebnisse verfälschen könnte. Selbst wenn es keine Beweise für Manipulation gibt, könnte allein die Beteiligung eines KI-Labors die Integrität der Bewertungsergebnisse beeinträchtigen.

Ross Taylor, CEO des KI-Startups General Reasoning, äußerte Bedenken, dass die Ressourcen für akademische Einrichtungen oft nicht ausreichen, um die Ergebnisse der Labore zu reproduzieren. Er schätzt, dass ein einzelner Durchlauf des MMLU Pro, eines Fragebogens zur Bewertung der Sprachverständnisfähigkeiten eines Modells, mehr als 1.800 US-Dollar kosten würde.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!

Angebot

1.997 Bewertungen

EIlik - Ein Desktop-Begleitroboter mit emotionaler Intelligenz, Multi-Roboter-Interaktionen, Desktop-Robotik-Partner

• NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.

169,00 EUR

Bei Amazon kaufen