Künstliche Intelligenz effizienter einsetzen: Die Rolle von „Model Routing“

MÜNCHEN (IT BOLTWISE) – Modell-Routing ermöglicht Unternehmen, das optimale KI-Modell für jede Anfrage auszuwählen und damit Effizienz und Kosteneinsparungen zu maximieren.

Da Unternehmen verstärkt auf Künstliche Intelligenz (KI) setzen, stellt sich eine zentrale Herausforderung: Wie wählt man automatisch das beste KI-Modell für jede Aufgabe aus und optimiert gleichzeitig Leistung und Kosten? Modell-Routing ist die Antwort und entwickelt sich schnell zur Geheimwaffe für KI-Effizienz in Unternehmen.

Die Modell-Routing-Technologie ermöglicht es Firmen, dynamisch das am besten geeignete KI-Modell für jede Anfrage auszuwählen. Diese Methode revolutioniert die Nutzung von KI-Ressourcen, indem sie die Performance erhöht und die Kosten im Vergleich zum Einsatz eines einzelnen Modells deutlich reduziert.

Ein Startup, das in diesem Bereich führend ist, ist Martian. Es hat einen Large Language Model (LLM) Router entwickelt, der bereits das Interesse großer Tech-Unternehmen geweckt hat. Accenture, ein globaler Dienstleistungsriese, hat kürzlich in Martian investiert, was die wachsende Bedeutung des Modell-Routings für Unternehmens-KI-Strategien verdeutlicht.

Accenture plant, Martian in seine Switchboard-Dienste zu integrieren, die Unternehmen bei der Modellauswahl unterstützen. Martian trat im November 2023 aus dem Stealth-Modus hervor und hat seine Technologie im letzten Jahr kontinuierlich weiterentwickelt. Neben der Integration bei Accenture führt das Unternehmen auch eine neue KI-Modell-Compliance-Funktion als Teil seiner Router-Plattform ein.

Bislang hat das Accenture-Switchboard Organisationen bei der Auswahl von Modellen für den Unternehmenseinsatz unterstützt. Die Integration von Martian fügt nun die Möglichkeit hinzu, Anfragen dynamisch an das jeweils beste Modell zu routen.

„Wir können automatisch das richtige Modell auswählen, und zwar nicht nur aufgaben-, sondern anfragebasiert“, erklärt Shriyash Upadhyay, Mitgründer von Martian. „Das ermöglicht niedrigere Kosten und eine höhere Leistung, da man nicht immer ein einziges Modell verwenden muss.“

Laut Lan Guan, Chief AI Officer bei Accenture, suchen viele Kunden nach Wegen, die Vorteile der generativen KI unter Berücksichtigung von Anforderungen, Leistung und Kosten zu nutzen. „Die Funktionen der Switchboard-Dienste von Accenture und Martians dynamisches LLM-Routing vereinfachen die Benutzererfahrung und ermöglichen es Unternehmen, mit generativer KI zu experimentieren und das perfekte Modell für ihre Bedürfnisse zu finden“, so Guan.

Wie Martian Unternehmens-KI-Anfragen zum besten Modell routet

Martian entwickelt Modell-Router, die dynamisch das beste Modell für eine bestimmte Anfrage auswählen können. Die Kerntechnologie des Routers konzentriert sich darauf, das Verhalten von Modellen vorherzusagen.

„Wir verfolgen einen einzigartigen Ansatz, bei dem wir versuchen zu verstehen, was im Inneren dieser Modelle vor sich geht“, erklärt Upadhyay. „Ein Modell enthält genug Informationen, um sein eigenes Verhalten vorherzusagen, da es dieses Verhalten ausführt.“

Dieser Ansatz ermöglicht es Martian, das optimalste Modell zu nutzen, indem es Faktoren wie Kosten, Qualität des Outputs und Latenz optimiert. Techniken wie Modellkompression, Quantisierung, Distillation und spezialisierte Modelle helfen dabei, diese Vorhersagen zu treffen, ohne die vollständigen Modelle ausführen zu müssen. Die Martian-Routing-Technologie kann in Anwendungen, die Sprachmodelle nutzen, integriert werden. Dadurch wird das jeweils optimale Modell für jede Anfrage ausgewählt und die Leistung verbessert sowie Kosten gesenkt.

Warum Modell-Routing für Unternehmens-KI unerlässlich ist

Die Idee, das beste Werkzeug für den Job zu verwenden, ist im Geschäftsleben gängig, aber das Wissen um die Vielzahl spezifischer KI-Modelle ist in vielen Organisationen weniger verbreitet.

„Oft wissen verschiedene Abteilungen großer Unternehmen nicht einmal, dass es eine ganze Welt verschiedener Modelle gibt“, so Upadhyay.

Um KI-Modelle effektiv zu nutzen, ist die Definition von Erfolgskennzahlen entscheidend. Organisationen müssen bestimmen, welche Metriken den Erfolg definieren und was ihnen bei einer bestimmten Anwendung wichtig ist.

Kostenoptimierung und Return on Investment (ROI) sind ebenfalls entscheidende Faktoren. Upadhyay betont, dass es wichtig ist, Kosten zu optimieren und den ROI des Modell-Einsatzes nachweisen zu können. Hier ist Modell-Routing essenziell, da es beide Ziele unterstützt.

Compliance ist ein weiteres Anliegen in Unternehmen, und Martian nimmt sich dieser Herausforderung mit seiner neuen Compliance-Funktion an. Damit können Firmen Richtlinien zur Überprüfung und Genehmigung von KI-Modellen für den Einsatz in ihren Anwendungen festlegen.

Unternehmens-KI-Modell-Routing als Chance für Agentic AI

Ein Hauptanwendungsfall für Modell-Routing in Unternehmen ist der Bereich der Agentic AI.

Bei Agentic AI verknüpft ein KI-Agent mehrere Modelle und Aktionen, um ein Ergebnis zu erzielen. Jeder Schritt im Agenten-Workflow hängt von den vorherigen ab, wodurch Fehler sich exponentiell potenzieren können. Martians Routing sorgt dafür, dass in jedem Schritt das bestmögliche Modell verwendet wird, um eine hohe Genauigkeit zu gewährleisten.

„Agenten sind der entscheidende Anwendungsfall für Routing“, betont Upadhyay. „Hier ist es wirklich wichtig, die Schritte richtig zu machen, da sonst eine Kaskade von Fehlern auftritt.“