Forscher entwickeln Methode zur präziseren und kürzeren Beantwortung von Fragen durch LLMs

SANTIAGO DE COMPOSTELA / MÜNCHEN (IT BOLTWISE) – Forschende am Japan Advanced Institute of Science and Technology haben eine innovative Methode entwickelt, die es Large Language Models (LLMs) ermöglicht, Fragen präziser und mit verlässlicheren Konfidenzwerten zu beantworten.

Künstliche Intelligenz (KI), insbesondere Large Language Models (LLMs), zeigt großes Potenzial in der Beantwortung von offenen Fragen, besonders in Bereichen wie Finanzen, Gesundheitswesen und Bildung. Doch trotz der Fortschritte bleiben zwei zentrale Herausforderungen bestehen: die Genauigkeit und Kürze der Antworten sowie die Zuverlässigkeit der Konfidenzwerte. Diese Probleme beeinträchtigen besonders die praktische Anwendung in sensiblen Feldern, in denen Vertrauen in die Genauigkeit der Antworten essenziell ist.

Um diesen Herausforderungen zu begegnen, entwickelte ein Forscherteam, angeführt von Professor Nguyen Le Minh am Japan Advanced Institute of Science and Technology, eine neue Methode namens „Answer-prefix Generation“ (ANSPRE). Diese Technik verbessert sowohl die Genauigkeit der Antworten als auch die Konfidenzbewertung von LLMs. Laut den Forschern kann ANSPRE in jede LLM-Architektur integriert werden und optimiert damit den gesamten Prozess der Antwortgenerierung.

„ANSPRE verbessert die Qualität der generierten Antworten und sorgt dafür, dass LLMs die exakte Antwortphrase liefern können. Zudem generiert es verlässliche Konfidenzwerte, was besonders in Bereichen wie Medizin, Recht und Finanzen von großer Bedeutung ist,“ erklärt Professor Nguyen. Die Ergebnisse dieser Forschung werden auf der 27. Europäischen Konferenz für Künstliche Intelligenz (ECAI-2024) präsentiert.

Das Kernprinzip von ANSPRE ist die Verwendung eines sogenannten „Antwort-Prefix“, einer Textsequenz, die den Weg zur Antwort vorgibt. Beispielsweise könnte die Antwort-Phrase auf die Frage „Welches Glücksspiel, das mit zwei Münzen gespielt wird, war im Ersten Weltkrieg populär?“ lauten: „Das Glücksspiel, das mit zwei Münzen gespielt wurde und im Ersten Weltkrieg populär war, ist __.“ Diese Vorgehensweise erlaubt es der KI, genau die fehlende Antwortstelle korrekt zu ergänzen.

ANSPRE nutzt nur eine kleine Anzahl an ausgewählten Beispielen und kombiniert diese mit einem bestehenden Retrieval-Modell, das relevante Dokumente aus einer Wissensdatenbank bezieht. Die Methode aggregiert dann die Antworten und Konfidenzwerte, um eine finale Antwort zu generieren. Dieses Verfahren führt nicht nur zu genaueren Antworten, sondern auch zu verlässlicheren Konfidenzbewertungen, die das Vertrauen in KI-Systeme stärken.

In einer erweiterten Version namens „Self-Reflective ANSPRE“ (SELF-ANSPRE) kombinierten die Forscher diese Technik mit einem selbstreflektierenden Retrieval-Ansatz, der es der KI erlaubt, ihren eigenen Antwortprozess zu bewerten und anzupassen. Dies führte zu signifikanten Verbesserungen der Antwortqualität, wie Tests auf mehreren Frage-Antwort-Benchmarks zeigten.

Laut Prof. Nguyen birgt die ANSPRE-Methode das Potenzial, KI-basierte Antworten in entscheidenden Bereichen wie medizinischer Diagnose, rechtlicher Beratung und im Bildungswesen entscheidend zu verbessern. Im weiteren Verlauf könnte sie zu einer vertieften Zusammenarbeit zwischen Mensch und KI führen, indem sie das Vertrauen in KI-Systeme stärkt.