Kontroverse um KI-gestützte Fragen im kalifornischen Bar-Examen

LOS ANGELES / MÜNCHEN (IT BOLTWISE) – Die jüngste Enthüllung, dass die kalifornische Anwaltskammer Künstliche Intelligenz zur Entwicklung von Prüfungsfragen eingesetzt hat, sorgt für Aufruhr in der juristischen Gemeinschaft.

Die kalifornische Anwaltskammer steht derzeit im Mittelpunkt einer Kontroverse, nachdem bekannt wurde, dass bei der Entwicklung von Multiple-Choice-Fragen für das Bar-Examen im Februar Künstliche Intelligenz (KI) zum Einsatz kam. Diese Enthüllung folgt auf zahlreiche Beschwerden von angehenden Anwälten über technische Probleme und Unregelmäßigkeiten während der Prüfung. Die Anwaltskammer hat angekündigt, den kalifornischen Obersten Gerichtshof um eine Anpassung der Prüfungsergebnisse zu bitten, jedoch ohne die Probleme mit den Fragen selbst anzuerkennen. Ein Teil der Fragen stammte aus einer Prüfung für Erstsemester-Jurastudenten, während andere mit Hilfe von KI durch ACS Ventures, den unabhängigen Psychometriker der Anwaltskammer, entwickelt wurden. Die Verwendung von KI bei der Erstellung von Prüfungsfragen hat zu erheblicher Kritik geführt. Mary Basick, Assistenzdekanin für akademische Fähigkeiten an der UC Irvine Law School, äußerte sich schockiert über die Entscheidung, Fragen von nicht-juristisch ausgebildeten Personen mit KI entwickeln zu lassen. Sie argumentiert, dass dies einen Interessenkonflikt darstelle, da dieselben Psychometriker die Validität und Zuverlässigkeit der Fragen sicherstellen sollen. Katie Moran, eine Professorin an der University of San Francisco School of Law, kritisierte ebenfalls die Entscheidung der Anwaltskammer. Sie betonte, dass die Anwaltskammer ein Unternehmen beauftragt habe, nicht-juristische Personen mit der Erstellung von Prüfungsfragen mittels KI zu betrauen, und dass dieses Unternehmen dann auch die Qualität der Fragen bewerten sollte. Die kalifornische Anwaltskammer verteidigt jedoch ihre Vorgehensweise und betont, dass alle Fragen, einschließlich der mit KI entwickelten, von Validierungspanels und Fachexperten auf rechtliche Genauigkeit und mögliche Vorurteile überprüft wurden. Die Anwaltskammer sieht keinen Interessenkonflikt und verweist darauf, dass die statistischen Parameter zur Validierung der Fragen unabhängig von deren Quelle gleich bleiben. Alex Chan, Vorsitzender des Prüfungsausschusses der Anwaltskammer, erklärte, dass nur ein kleiner Teil der Fragen mit KI entwickelt wurde und dass die KI nicht unbedingt zur Erstellung, sondern zur Überprüfung der Fragen eingesetzt wurde. Die kalifornische Anwaltskammer hatte im vergangenen Jahr beschlossen, die Multistate Bar Examination der National Conference of Bar Examiners zugunsten eines neuen hybriden Modells aus Präsenz- und Fernprüfungen aufzugeben, um Kosten zu sparen. Dies führte zu einem Vertrag mit Kaplan Exam Services zur Erstellung von Prüfungsfragen und Meazure Learning zur Durchführung der Prüfungen. Die Einführung der neuen Prüfungen verlief jedoch nicht reibungslos. Viele Prüflinge berichteten von technischen Problemen, wie dem Abbruch der Online-Plattformen oder fehlerhaften Bildschirmen. Die Anwaltskammer konzentriert sich derzeit auf die Überprüfung der Leistung von Meazure Learning, während Kritiker argumentieren, dass die Probleme mit den Prüfungsfragen nicht ausreichend anerkannt werden. Katie Moran fordert die Anwaltskammer auf, alle 200 Prüfungsfragen zur Transparenz zu veröffentlichen und zur Multistate Bar Examination zurückzukehren. Die Anwaltskammer plant jedoch, das neue System beizubehalten, da fast die Hälfte der kalifornischen Bar-Bewerber die Möglichkeit des Fernstudiums beibehalten möchte.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!