SAN FRANCISCO / MÜNCHEN (IT BOLTWISE) – Kritik an der Leistung von GPT-4 in ChatGPT, selbst im neuen Turbo-Modell, wird von OpenAI ernst genommen.
Seit Monaten beklagen sich Nutzer, dass die Leistung von GPT-4 in ChatGPT nachlässt, auch mit dem neuen Turbo-Modell. OpenAI nimmt diese Rückmeldungen nun unter die Lupe. Zunehmend häufiger wurden Beschwerden über schlechte oder unvollständige Antworten laut, vor allem bei der Code-Generierung. OpenAI reagiert nun auf diese Kritik: „Das Verhalten des Modells kann unvorhersehbar sein, und wir arbeiten an einer Lösung“.
OpenAI vermutet nicht, dass sich das Modell selbst verändert hat. Laut OpenAI wurde GPT-4 Turbo seit dem 11. November nicht aktualisiert. Dennoch könnten die Unterschiede im Verhalten des Modells sehr subtil sein. „Nur eine Teilmenge von Prompts könnte beeinträchtigt sein, und es könnte lange dauern, bis Kunden und Mitarbeiter diese Muster bemerken und beheben“, schreibt OpenAI.
In darauf folgenden Tweets erläuterte OpenAI die Feinheiten des KI-Trainings. Verschiedene Trainingsdurchläufe, selbst mit denselben Datensätzen, könnten Modelle mit erheblichen Unterschieden in Persönlichkeit, Schreibstil, Verweigerungsverhalten, Bewertungsleistung und sogar politischer Voreingenommenheit hervorbringen. Es handele sich nicht um einen „sauberen industriellen Prozess“, sondern eher um eine „handwerkliche, von mehreren Personen getragene Anstrengung“, die nicht mit einem einfachen Website-Update vergleichbar sei. Viele Menschen sind an der Planung, Erstellung und Bewertung neuer Chat-Modelle beteiligt. OpenAI beschreibt speziell die „dynamische Bewertung“ als ein „Problem“.
Beschwerden über einen Leistungsabfall von GPT-4 begannen bereits im letzten Sommer. Als OpenAI das erste Modell von Version 0314 auf Version 0613 im Sommer aktualisierte, beschwerten sich einige über einen Leistungsverlust. OpenAI reagierte auf die Kritik, indem die Verfügbarkeit des ursprünglichen GPT-4-Modells 0314, das im März 2023 veröffentlicht wurde, bis mindestens Sommer 2024 verlängert wurde. Es ist noch unklar, ob die Leistung nachgelassen hat und wenn ja, in welchem Ausmaß und in welchen Bereichen. Laut OpenAI kann ein Modell-Update die Leistung in einigen Bereichen verbessern, sie aber in anderen verschlechtern.
Ergänzungen und Infos bitte an die Redaktion per eMail an de-info[at]it-boltwise.de
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.