Yoshua Bengio warnt vor den Gefahren agentischer KI-Systeme

DAVOS / MÜNCHEN (IT BOLTWISE) – Auf dem Weltwirtschaftsforum in Davos hat der KI-Pionier Yoshua Bengio eindringlich vor den Risiken gewarnt, die von agentischen KI-Systemen ausgehen könnten.

In Davos, wo sich führende Köpfe der KI-Forschung versammeln, um über die Zukunft der Künstlichen Intelligenz zu diskutieren, hat Yoshua Bengio, einer der sogenannten “KI-Godfathers”, seine Bedenken über agentische KI-Systeme geäußert. Diese Systeme, die in der Lage sind, unabhängig von menschlichem Eingreifen zu handeln, könnten laut Bengio zu katastrophalen Szenarien führen, insbesondere wenn sie die Fähigkeiten einer allgemeinen Künstlichen Intelligenz (AGI) erreichen.

Bengio, dessen frühe Arbeiten im Bereich des Deep Learnings und der neuronalen Netze die Grundlage für den modernen KI-Boom legten, betont, dass es möglich sei, AGI zu erreichen, ohne agentische Systeme zu entwickeln. Er argumentiert, dass die meisten wissenschaftlichen und medizinischen Anwendungen der KI nicht agentisch sind und dass es möglich sei, weiterhin leistungsfähige, nicht-agentische Systeme zu entwickeln.

Die Diskussion um agentische KI-Systeme ist in Davos allgegenwärtig, insbesondere da Unternehmen wie OpenAI und Google bereits daran arbeiten, solche Technologien in den Markt einzuführen. OpenAI hat kürzlich einen KI-Agenten vorgestellt, der Aufgaben wie das Surfen im Internet oder das Buchen von Restaurants übernehmen kann, während Google an ähnlichen Tools arbeitet.

Bengio sieht die Gefahr, dass der Wettbewerb zwischen Unternehmen und Ländern dazu führen könnte, dass agentische Systeme trotz der Risiken weiterentwickelt werden. Er schlägt vor, nicht-agentische Systeme zu entwickeln, die als Kontrollmechanismen für agentische Systeme fungieren könnten. Dies würde jedoch erhebliche Investitionen in die Entwicklung solcher Überwachungssysteme erfordern.

Zusätzlich fordert Bengio nationale Regulierungen, die sicherstellen, dass KI-Unternehmen agentische Modelle nicht entwickeln dürfen, ohne vorher deren Sicherheit nachzuweisen. Er betont die Notwendigkeit, die Wissenschaft sicherer und leistungsfähiger KI voranzutreiben, um die Risiken zu verstehen und zu minimieren, bevor es zu spät ist.

Auf einem Panel mit Demis Hassabis, dem CEO von Google DeepMind, hob Bengio hervor, dass die Entwicklung von KI-Agenten der gefährlichste Weg sei. Hassabis stimmte zu, dass Maßnahmen zur Risikominderung ergriffen werden sollten, wie etwa der Einsatz von Cybersicherheitsmaßnahmen oder das Testen von Agenten in Simulationen, bevor sie freigegeben werden.

Die wirtschaftlichen Anreize für agentische Systeme sind jedoch stark, da sie Unternehmen erhebliche Effizienzgewinne versprechen. Hassabis wies darauf hin, dass der Wunsch nach agentischen Systemen auch von der Nachfrage nach automatisierten Dienstleistungen getrieben wird, wie etwa der automatischen Tischreservierung nach einer Restaurantempfehlung.