KI-Agenten mit vielseitigen Fähigkeiten: Ein Blick in die Zukunft

MÜNCHEN (IT BOLTWISE) – Die Entwicklung von KI-Agenten schreitet mit großen Schritten voran, und die Erwartungen an ihre zukünftigen Fähigkeiten sind hoch. Ein neuer Agent namens S2, entwickelt von dem Startup Simular AI, zeigt, wie spezialisierte Modelle in Kombination mit allgemeinen KI-Modellen die Nutzung von Computern und Smartphones revolutionieren könnten.

Die Künstliche Intelligenz (KI) entwickelt sich rasant weiter, und die Erwartungen an ihre zukünftigen Fähigkeiten sind hoch. Ein neuer Agent namens S2, entwickelt von dem Startup Simular AI, zeigt, wie spezialisierte Modelle in Kombination mit allgemeinen KI-Modellen die Nutzung von Computern und Smartphones revolutionieren könnten. S2 kombiniert fortschrittliche Modelle mit solchen, die speziell für die Nutzung von Computern entwickelt wurden, und erreicht damit Spitzenleistungen bei Aufgaben wie der Nutzung von Apps und der Manipulation von Dateien.

Ang Li, Mitbegründer und CEO von Simular, erklärt, dass Computer-unterstützende Agenten sich von großen Sprachmodellen und Codierungsanwendungen unterscheiden. Während große Sprachmodelle im Planen brillieren, sind sie weniger gut darin, grafische Benutzeroberflächen zu erkennen. S2 hingegen ist darauf ausgelegt, aus Erfahrungen zu lernen, indem es ein externes Speichermodul nutzt, das Aktionen und Benutzerfeedback aufzeichnet und diese Aufzeichnungen zur Verbesserung zukünftiger Aktionen verwendet.

Besonders bei komplexen Aufgaben übertrifft S2 andere Modelle auf OSWorld, einem Benchmark, der die Fähigkeit eines Agenten misst, ein Computerbetriebssystem zu nutzen. So kann S2 34,5 Prozent der Aufgaben, die 50 Schritte umfassen, erfolgreich abschließen und schlägt damit OpenAI’s Operator, der 32 Prozent erreicht. Ähnlich verhält es sich bei AndroidWorld, einem Benchmark für Smartphone-unterstützende Agenten, wo S2 50 Prozent der Aufgaben meistert, während der nächstbeste Agent 46 Prozent erreicht.

Victor Zhong, ein Informatiker an der University of Waterloo in Kanada und einer der Schöpfer von OSWorld, glaubt, dass zukünftige große KI-Modelle Trainingsdaten integrieren könnten, die ihnen helfen, die visuelle Welt zu verstehen und grafische Benutzeroberflächen präziser zu navigieren. Zhong ist der Meinung, dass bis zu solchen grundlegenden Durchbrüchen Systeme wie Simular, die mehrere Modelle kombinieren, um die Einschränkungen einzelner Modelle zu überwinden, den Stand der Technik darstellen werden.

Um diesen Artikel vorzubereiten, habe ich Simular genutzt, um Flüge zu buchen und auf Amazon nach Angeboten zu suchen. Es schien besser zu funktionieren als einige der Open-Source-Agenten, die ich letztes Jahr ausprobiert habe, darunter AutoGen und vimGPT. Dennoch sind selbst die intelligentesten KI-Agenten noch von Randfällen geplagt und zeigen gelegentlich seltsames Verhalten. In einem Fall, als ich S2 bat, Kontaktinformationen für die Forscher hinter OSWorld zu finden, geriet der Agent in eine Schleife zwischen der Projektseite und dem Login für OSWorld’s Discord.

OSWorld’s Benchmarks zeigen, warum Agenten derzeit mehr Hype als Realität sind. Während Menschen 72 Prozent der OSWorld-Aufgaben abschließen können, scheitern Agenten bei 38 Prozent der komplexen Aufgaben. Dennoch konnte der beste Agent bei der Einführung des Benchmarks im April 2024 nur 12 Prozent der Aufgaben bewältigen. Zhong sagt, dass die Menge an verfügbaren Trainingsdaten die Leistungsfähigkeit der Agenten begrenzen könnte.

Eine mögliche Lösung könnte darin bestehen, menschliche Intelligenz in die Mischung einzubringen. Während meiner Recherche zu Simular entdeckte ich ein Forschungsprojekt, das zeigt, wie effektiv es sein kann, menschliche Fähigkeiten mit denen eines KI-Agenten zu kombinieren. CowPilot, ein Chrome-Plugin, das von einem Team der Carnegie Mellon University entwickelt wurde, ermöglicht es einem Menschen, einzugreifen, wenn ein KI-Agent bei Aufgaben stecken bleibt. Mit CowPilot kann ich eingreifen und klicken oder tippen, wenn der Agent zu zögern scheint.

Jeffrey Bigham, ein Professor an der CMU, der das Projekt betreute, das von seiner Studentin Faria Huq entwickelt wurde, sagt, die Idee, dass ein Mensch mit einem Agenten zusammenarbeitet, sei fast so offensichtlich, dass es schwer zu glauben sei, dass nicht die meisten Menschen darüber nachdenken. Am interessantesten ist, dass Bigham und Huq sagen, dass ein Mensch und ein Agent zusammen mehr Aufgaben erledigen können als jede Partei allein. In einem begrenzten Test schloss das Mensch-Agenten-Kombinationsteam 95 Prozent der ihm gestellten Aufgaben ab, wobei Menschen nur 15 Prozent der Gesamtschritte ausführen mussten.

Webseiten sind oft schwer zu bedienen, besonders wenn man mit einer bestimmten Seite nicht vertraut ist, und manchmal kann der Agent helfen, einen guten Weg zu finden, der länger gedauert hätte, um ihn selbst herauszufinden, fügt Bigham hinzu. Ich weiß nicht, wie es Ihnen geht, aber ich mag die Idee eines Agenten, der mich produktiver und weniger fehleranfällig macht.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!