MÜNCHEN (IT BOLTWISE) – Das National Institute of Standards and Technology (NIST) hat ein neues Open-Source-Tool namens Dioptra veröffentlicht, das entwickelt wurde, um die Risiken von KI-Modellen zu bewerten. Dieses Werkzeug soll Unternehmen und Behörden helfen, die Sicherheit und Leistung von KI-Systemen zu testen und potenzielle Bedrohungen zu identifizieren.
- Die besten Bücher rund um KI & Robotik
präsentiert von Amazon! - Unsere täglichen KI-News von IT Boltwise® bei LinkedIn abonnieren!
- KI-Meldungen bequem via Telegram oder per Newsletter erhalten!
- IT Boltwise® bei Facy oder Insta als Fan markieren und abonnieren!
- AI Morning Podcast bei Spotify / Amazon / Apple verfolgen!
- RSS-Feed 2.0 von IT Boltwise® für KI-News speichern!
Das NIST, eine Behörde des US-Handelsministeriums, die Technologie für die US-Regierung, Unternehmen und die breite Öffentlichkeit entwickelt und testet, hat Dioptra ursprünglich 2022 eingeführt. Das modulare, webbasierte Tool wurde nun erneut veröffentlicht und bietet eine Plattform, um KI-Modelle gegen simulierte Bedrohungen zu testen. Dies soll helfen, Risiken durch böswillige Angriffe zu erkennen, insbesondere solche, die Trainingsdaten “vergiften” und die Leistung eines KI-Systems beeinträchtigen könnten.
Dioptra, benannt nach einem klassischen astronomischen und geodätischen Instrument, bietet Unternehmen und Nutzern von KI-Modellen die Möglichkeit, diese zu bewerten, zu analysieren und Risiken zu verfolgen. Es kann zur Benchmarking- und Forschungsarbeit genutzt werden und bietet eine gemeinsame Plattform für das sogenannte “Red-Teaming” von Modellen, bei dem simulierte Bedrohungen auf Modelle angewendet werden.
In einer Pressemitteilung betonte NIST: “Das Testen der Auswirkungen von Angriffen auf maschinelles Lernen ist eines der Ziele von Dioptra. Die Open-Source-Software, die kostenlos heruntergeladen werden kann, könnte der Gemeinschaft, einschließlich Regierungsbehörden und kleinen bis mittleren Unternehmen, helfen, Bewertungen durchzuführen, um die Leistungsansprüche von KI-Entwicklern zu überprüfen.” Dioptra wurde zusammen mit Dokumenten von NIST und dem kürzlich gegründeten AI Safety Institute veröffentlicht, die Wege aufzeigen, um einige der Gefahren von KI zu mildern, wie z.B. die missbräuchliche Erstellung nicht einvernehmlicher Pornografie.
Das Tool Dioptra wurde auch im Rahmen der Durchführungsverordnung (EO) von Präsident Joe Biden zu KI entwickelt. Diese Verordnung verlangt unter anderem, dass NIST bei der Prüfung von KI-Systemen hilft und Sicherheits- und Sicherheitsstandards festlegt. Dazu gehört, dass Unternehmen wie Apple verpflichtet sind, der Bundesregierung alle Sicherheitstests ihrer Modelle mitzuteilen, bevor diese öffentlich zugänglich gemacht werden.
Es wird jedoch auch auf die Grenzen von Dioptra hingewiesen. So funktioniert das Tool nur mit Modellen, die lokal heruntergeladen und verwendet werden können, wie die expandierende Llama-Familie von Meta. Modelle, die hinter einer API verborgen sind, wie OpenAIs GPT-4, können derzeit nicht getestet werden.
Insgesamt stellt Dioptra einen bedeutenden Schritt dar, um ein besseres Verständnis für die Sicherheitsrisiken von KI-Modellen zu schaffen und deren Auswirkungen auf die Leistung zu quantifizieren. Es zeigt auf, welche Arten von Angriffen die Wirksamkeit eines KI-Systems beeinträchtigen können, bietet jedoch keine vollständige Absicherung gegen Risiken.
Amazon-Trendangebote der letzten 24 Stunden mit bis zu 78% Rabatt (Sponsored)
- NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.
Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!
- Die Zukunft von Mensch und MaschineIm neuen Buch des renommierten Zukunftsforschers und Technologie-Visionärs Ray Kurzweil wird eine faszinierende Vision der kommenden Jahre und Jahrzehnte entworfen – eine Welt, die von KI durchdrungen sein wird
- Künstliche Intelligenz: Expertenwissen gegen Hysterie Der renommierte Gehirnforscher, Psychiater und Bestseller-Autor Manfred Spitzer ist ein ausgewiesener Experte für neuronale Netze, auf denen KI aufbaut
- Obwohl Künstliche Intelligenz (KI) derzeit in aller Munde ist, setzen bislang nur wenige Unternehmen die Technologie wirklich erfolgreich ein
- Wie funktioniert Künstliche Intelligenz (KI) und gibt es Parallelen zum menschlichen Gehirn? Was sind die Gemeinsamkeiten von natürlicher und künstlicher Intelligenz, und was die Unterschiede? Ist das Gehirn nichts anderes als ein biologischer Computer? Was sind Neuronale Netze und wie kann der Begriff Deep Learning einfach erklärt werden?Seit der kognitiven Revolution Mitte des letzten Jahrhunderts sind KI und Hirnforschung eng miteinander verflochten
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "NIST veröffentlicht Dioptra-Tool zur Bewertung von KI-Risiken" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.