Patronus AI startet erste API zur Verhinderung von KI-Halluzinationen

SAN FRANCISCO / MÜNCHEN (IT BOLTWISE) – Patronus AI stellt die weltweit erste API zur Vermeidung von KI-Halluzinationen vor und ermöglicht Unternehmen, KI-Fehler in Echtzeit zu erkennen und zu verhindern.

Eine Vielzahl moderner KI-Anwendungen wird von Halluzinationen geplagt, die zu ungenauen und manchmal gefährlichen Ergebnissen führen. Ein Chatbot könnte ein fiktives Produkt empfehlen, eine Finanz-KI erfundene Marktdaten präsentieren oder eine medizinische KI fehlerhafte Ratschläge geben. Solche Halluzinationen, früher als Eigenheiten der KI abgetan, entwickeln sich zu kostspieligen Problemen, die Unternehmen zwingt, innovative Lösungen zu finden.

Die Antwort darauf liefert Patronus AI, ein Startup aus San Francisco, das kürzlich 17 Millionen US-Dollar in einer Series-A-Finanzierungsrunde gesammelt hat. Mit der Einführung der ersten Self-Service-Plattform zur Echtzeit-Kontrolle und Prävention von KI-Fehlern will Patronus AI eine Art “Rechtschreibprüfung” für KI-Systeme etablieren, die Fehler erkennt, bevor sie Nutzern angezeigt werden.

KI-Sicherheitsnetz: Funktionsweise der Plattform

„Viele Unternehmen stehen vor großen Herausforderungen, wenn KI-Modelle in der Praxis versagen und Halluzinationen, Sicherheitslücken oder unvorhersehbares Verhalten zeigen“, erklärte Anand Kannappan, CEO von Patronus AI. Laut einer Studie des Unternehmens reproduzieren bekannte KI-Modelle wie GPT-4 in 44 % der Fälle urheberrechtlich geschützte Inhalte und liefern in mehr als 20 % der Tests fehlerhafte Antworten in grundlegenden Sicherheitstests.

Die Innovation der Lösung liegt vor allem in der Möglichkeit zur individuellen Anpassung. Mit dem “Judge Evaluators”-Feature können Unternehmen maßgeschneiderte Regeln in einfacher Sprache definieren. „Wir ermöglichen es Kunden, ihre Anforderungen in englischen Sätzen zu formulieren,“ erklärt Varun Joshi, Produktleiter bei Patronus AI. Finanzdienstleister könnten beispielsweise regulatorische Anforderungen festlegen, während der Gesundheitssektor auf den Datenschutz und medizinische Genauigkeit fokussieren könnte.

Vom Erkennen zur Prävention: Technologische Durchbrüche

Das Herzstück des Systems bildet das Modell Lynx, das GPT-4 um 8,3 % bei der Erkennung medizinischer Fehler übertrifft. Die Plattform bietet sowohl eine schnelle Echtzeitversion als auch eine umfangreiche Analyseoption für tiefere Einblicke. Weitere spezialisierte Tools wie der CopyrightCatcher und FinanceBench ergänzen Lynx und bieten umfassenden Schutz gegen KI-Fehler.

Die flexible Preisgestaltung nach Nutzungsmengen, die ab 10 USD pro 1.000 API-Aufrufe beginnt, macht Patronus AI auch für kleinere Unternehmen zugänglich, die bisher kein Budget für KI-Sicherheit aufbringen konnten. Bereits erste Großkunden wie HP, AngelList und Pearson sowie Partnerschaften mit NVIDIA und IBM zeigen die zunehmende Bedeutung dieser Technologie.

Die neue Ära der KI-Sicherheit

Während klassische KI-Sicherheitslösungen hauptsächlich Fehler entdecken, verfolgt Patronus AI den Ansatz der kontinuierlichen Verbesserung. „Wir heben die spezifische Textstelle hervor, an der die Halluzination auftritt,“ erklärt Kannappan. Diese Präzision erlaubt es Entwicklern, Fehler gezielt zu beheben, statt nur von deren Existenz zu wissen.

Mit der zunehmenden Verbreitung von Sprachmodellen wie GPT-4 oder Claude steigen die Risiken von KI-Fehlfunktionen, die Unternehmen rechtliche Probleme oder einen Verlust des Kundenvertrauens einbringen können. Erste gesetzliche Maßnahmen wie das KI-Gesetz der EU oder die KI-Verordnung der USA verdeutlichen, dass Unternehmen künftig verstärkt für die Sicherheit ihrer KI verantwortlich gemacht werden könnten. Lösungen wie die von Patronus AI könnten hier eine Schlüsselrolle zur Erfüllung dieser Anforderungen spielen.

„Gute Evaluierungen schützen nicht nur vor negativen Ergebnissen, sondern verbessern nachhaltig die KI-Modelle,“ betont Joshi. Patronus AI positioniert sich als unverzichtbarer Baustein der KI-Sicherheitsentwicklung. Während die Modelle zunehmend überzeugendere Ergebnisse liefern, könnte das Auffinden von KI-Halluzinationen bald wie die Suche nach Nadel im Heuhaufen sein.

Am Ende bleibt ein einfaches Prinzip: Wenn Künstliche Intelligenz weiterhin Fakten erfindet, könnte das Vertrauen in diese Technologie endgültig verloren gehen. In dieser Mission tritt Patronus AI an, um die Zukunft der KI sicher und zuverlässig zu gestalten.