NIST veröffentlicht Dioptra-Tool zur Bewertung von KI-Risiken

MÜNCHEN (IT BOLTWISE) – Das National Institute of Standards and Technology (NIST) hat ein neues Open-Source-Tool namens Dioptra veröffentlicht, das entwickelt wurde, um die Risiken von KI-Modellen zu bewerten. Dieses Werkzeug soll Unternehmen und Behörden helfen, die Sicherheit und Leistung von KI-Systemen zu testen und potenzielle Bedrohungen zu identifizieren.

Das NIST, eine Behörde des US-Handelsministeriums, die Technologie für die US-Regierung, Unternehmen und die breite Öffentlichkeit entwickelt und testet, hat Dioptra ursprünglich 2022 eingeführt. Das modulare, webbasierte Tool wurde nun erneut veröffentlicht und bietet eine Plattform, um KI-Modelle gegen simulierte Bedrohungen zu testen. Dies soll helfen, Risiken durch böswillige Angriffe zu erkennen, insbesondere solche, die Trainingsdaten „vergiften“ und die Leistung eines KI-Systems beeinträchtigen könnten.

Dioptra, benannt nach einem klassischen astronomischen und geodätischen Instrument, bietet Unternehmen und Nutzern von KI-Modellen die Möglichkeit, diese zu bewerten, zu analysieren und Risiken zu verfolgen. Es kann zur Benchmarking- und Forschungsarbeit genutzt werden und bietet eine gemeinsame Plattform für das sogenannte „Red-Teaming“ von Modellen, bei dem simulierte Bedrohungen auf Modelle angewendet werden.

In einer Pressemitteilung betonte NIST: „Das Testen der Auswirkungen von Angriffen auf maschinelles Lernen ist eines der Ziele von Dioptra. Die Open-Source-Software, die kostenlos heruntergeladen werden kann, könnte der Gemeinschaft, einschließlich Regierungsbehörden und kleinen bis mittleren Unternehmen, helfen, Bewertungen durchzuführen, um die Leistungsansprüche von KI-Entwicklern zu überprüfen.“ Dioptra wurde zusammen mit Dokumenten von NIST und dem kürzlich gegründeten AI Safety Institute veröffentlicht, die Wege aufzeigen, um einige der Gefahren von KI zu mildern, wie z.B. die missbräuchliche Erstellung nicht einvernehmlicher Pornografie.

Das Tool Dioptra wurde auch im Rahmen der Durchführungsverordnung (EO) von Präsident Joe Biden zu KI entwickelt. Diese Verordnung verlangt unter anderem, dass NIST bei der Prüfung von KI-Systemen hilft und Sicherheits- und Sicherheitsstandards festlegt. Dazu gehört, dass Unternehmen wie Apple verpflichtet sind, der Bundesregierung alle Sicherheitstests ihrer Modelle mitzuteilen, bevor diese öffentlich zugänglich gemacht werden.

Es wird jedoch auch auf die Grenzen von Dioptra hingewiesen. So funktioniert das Tool nur mit Modellen, die lokal heruntergeladen und verwendet werden können, wie die expandierende Llama-Familie von Meta. Modelle, die hinter einer API verborgen sind, wie OpenAIs GPT-4, können derzeit nicht getestet werden.

Insgesamt stellt Dioptra einen bedeutenden Schritt dar, um ein besseres Verständnis für die Sicherheitsrisiken von KI-Modellen zu schaffen und deren Auswirkungen auf die Leistung zu quantifizieren. Es zeigt auf, welche Arten von Angriffen die Wirksamkeit eines KI-Systems beeinträchtigen können, bietet jedoch keine vollständige Absicherung gegen Risiken.