IARPA fokussiert sich auf KI-Sicherheit in der nächsten Forschungsrunde

ARLINGTON / MÜNCHEN (IT BOLTWISE) – Die Herausforderungen der Geheimdienstgemeinschaft im Umgang mit unautorisierten Datenlecks sind zahlreich, und die führende Forschungsabteilung möchte sicherstellen, dass ChatGPT nicht der nächste große Leaker wird.

Die Geheimdienstgemeinschaft steht vor zahlreichen Herausforderungen im Umgang mit unautorisierten Datenlecks, und die führende Forschungsabteilung möchte sicherstellen, dass ChatGPT nicht der nächste große Leaker wird. Dies ist eine der Herausforderungen, die die Intelligence Advanced Research Projects Activity (IARPA) in ihrer nächsten Runde der KI-Forschung in Betracht zieht. Das aktuelle Programm von IARPA zur KI-Sicherheit, genannt „TrojAI“, wird in diesem Jahr abgeschlossen. Diese Initiative wurde 2019 ins Leben gerufen, um Mittel zur Erkennung von Angriffen auf KI-Systeme zu entwickeln. Sie wurde vor den weitreichenden Fortschritten bei großen Sprachmodellen, die die generative Künstliche Intelligenz antreiben, ins Leben gerufen.

IARPA-Direktor Rick Muller betonte, dass große Sprachmodelle (LLMs) ein Hauptfokusbereich für das nächste Programm sein werden. „Was wir in der nächsten Runde verstehen wollen, ist, welche Art von Trainingsverzerrungen in ein großes Sprachmodell eingebracht werden, die unbeabsichtigte Konsequenzen haben könnten. Welche Art von Halluzinationen treten auf?“, sagte Muller am 22. April während einer Veranstaltung der Intelligence and National Security Alliance in Arlington, Virginia.

Ein weiteres Anliegen ist die sogenannte „Jailbreaking“-Technik, bei der ein System dazu gebracht wird, seine eingebauten Schutzmaßnahmen zu ignorieren. Ein verwandtes Problem sind „Prompt-Injections“, bei denen bösartige Anweisungen als harmlose Eingaben getarnt werden, um ein generatives KI-System dazu zu bringen, sensible Daten preiszugeben oder andere schädliche Aktionen auszuführen. Gleichzeitig glauben Geheimdienstmitarbeiter, dass KI genutzt werden kann, um die Informationsbeschaffung und -analyse zu beschleunigen. Eine IT-Roadmap, die letztes Jahr vom Büro des Direktors der Nationalen Nachrichtendienste veröffentlicht wurde, forderte die Einführung von „KI im großen Maßstab“ in der gesamten Geheimdienstgemeinschaft.

Verteidigungs- und Geheimdienste haben die Nutzung generativer KI zur Analyse von Open-Source-Informationen untersucht. Anbieter wie Microsoft und Palantir haben ebenfalls angekündigt, große Sprachmodelle in klassifizierte Netzwerke zu integrieren. Das TrojAI-Programm von IARPA, das 2019 gestartet wurde, konzentrierte sich auf den Aufbau von Abwehrmaßnahmen gegen „Trojanische Pferde“-Angriffe auf KI-Systeme. Das Programm arbeitete an der Erkennung von Angriffen über eine Vielzahl von Vektoren, von Trainingsdaten bis hin zum KI-Modell selbst.

Die Forschung konzentrierte sich auf eine Reihe von KI-Domänen, darunter Bilderkennung, natürliche Sprachverarbeitung und verstärkendes Lernen. IARPA hat einen Großteil der Forschung in Zusammenarbeit mit dem National Institute of Standards and Technology veröffentlicht. Muller erklärte, das Ziel sei es, Lücken im Markt für KI-Sicherheit zu schließen. „IARPA hat nicht die Milliarden von Dollar, die erforderlich sind, um ein Foundation-Modell zu trainieren“, sagte Muller. „Was wir tun wollen, ist, der Geheimdienstgemeinschaft Werkzeuge zur Verfügung zu stellen, die ihnen helfen, zu verstehen, wann diese Modelle sicher sind, wann sie kompromittiert wurden und so weiter.“

Während das TrojAI-Programm in diesem Jahr abgeschlossen wird, konzentrierte sich der letzte Wettbewerb im Rahmen des Programms auf große Sprachmodelle. „Die IC möchte in der Lage sein, diese Werkzeuge zu nutzen, wenn das Leben von Menschen auf dem Spiel steht“, sagte Muller. „Und wenn wir es auf klassifizierten Daten trainieren, wie stellen wir sicher, dass diese Daten nicht auf eine Weise kompromittiert werden, die unsere Ressourcen gefährdet?“

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!