MÜNCHEN (IT BOLTWISE) – Die Leistungsfähigkeit von Künstlicher Intelligenz auf Consumer-Hardware zu testen, ist eine spannende Herausforderung. Das chinesische KI-Modell DeepSeek R1 bietet die Möglichkeit, auch ohne Cloud-Anbindung lokal auf einem PC zu laufen. Wir haben das Modell auf der neuesten NVIDIA GeForce RTX 5090 getestet, um herauszufinden, wie es sich auf der derzeit leistungsstärksten Consumer-GPU schlägt.
- Die besten Bücher rund um KI & Robotik
präsentiert von Amazon! - Unsere täglichen KI-News von IT Boltwise® bei LinkedIn abonnieren!
- KI-Meldungen bequem via Telegram oder per Newsletter erhalten!
- IT Boltwise® bei Facy oder Insta als Fan markieren und abonnieren!
- AI Morning Podcast bei Spotify / Amazon / Apple verfolgen!
- RSS-Feed 2.0 von IT Boltwise® für KI-News speichern!
Die Möglichkeit, das KI-Modell DeepSeek R1 lokal auf einem PC zu betreiben, eröffnet neue Horizonte für Anwender, die unabhängig von Cloud-Diensten arbeiten möchten. Im Gegensatz zu vielen anderen großen Sprachmodellen, die auf die Server des Herstellers angewiesen sind, kann DeepSeek R1 direkt heruntergeladen und verwendet werden. Diese Flexibilität ist besonders für Entwickler und Forscher von Interesse, die ihre Daten lokal verarbeiten möchten.
Die Herausforderung bei der Nutzung von DeepSeek R1 auf herkömmlicher PC-Hardware liegt im hohen Speicherbedarf. Das vollständige Modell benötigt etwa 1,5 Terabyte RAM, was für die meisten PCs unpraktisch ist. Doch durch geschickte Reduzierung des Speicherbedarfs kann das Modell sogar auf leistungsstarken Grafikkarten wie der NVIDIA GeForce RTX 5090 betrieben werden. Diese Grafikkarte bietet mit 32 Gigabyte Speicher die derzeit beste Leistung im Consumer-Bereich.
Um die Grenzen der Leistungsfähigkeit von DeepSeek R1 auszuloten, haben wir das Modell auf der RTX 5090 getestet. Dabei haben wir nicht nur die maximale Anzahl von Tokens pro Sekunde gemessen, sondern auch untersucht, wie stark das Modell verkleinert werden kann, bevor die Qualität der Antworten leidet. Diese ‘Destillation’ des Modells führt zwar zu einem gewissen Gedächtnisverlust, beeinträchtigt jedoch nicht zwangsläufig die grundlegenden Fähigkeiten der KI.
Die Ergebnisse unserer Tests zeigen, dass DeepSeek R1 auch in einer abgespeckten Version auf der RTX 5090 beeindruckende Leistungen erbringt. Die Grafikkarte, die auf der gleichen Architektur wie viele KI-Beschleuniger basiert, profitiert von der engen Verwandtschaft und ermöglicht eine effiziente Verarbeitung der Daten. Dies zeigt, dass selbst Consumer-Hardware in der Lage ist, anspruchsvolle KI-Modelle zu betreiben, wenn die richtigen Anpassungen vorgenommen werden.
Die Möglichkeit, DeepSeek R1 lokal zu betreiben, könnte weitreichende Auswirkungen auf die Entwicklung und Nutzung von KI-Technologien haben. Entwickler könnten von der Unabhängigkeit von Cloud-Diensten profitieren und ihre Anwendungen direkt auf leistungsstarken PCs testen. Dies könnte auch die Tür für neue Anwendungen öffnen, die bisher aufgrund von Datenschutzbedenken oder Bandbreitenbeschränkungen nicht realisierbar waren.
Insgesamt zeigt der Test von DeepSeek R1 auf der NVIDIA GeForce RTX 5090, dass die Grenzen der KI-Leistung auf Consumer-Hardware noch lange nicht erreicht sind. Mit der richtigen Hardware und den passenden Optimierungen können selbst komplexe Modelle effizient betrieben werden, was neue Möglichkeiten für die KI-Entwicklung eröffnet.
Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!
- NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.
- Die Zukunft von Mensch und MaschineIm neuen Buch des renommierten Zukunftsforschers und Technologie-Visionärs Ray Kurzweil wird eine faszinierende Vision der kommenden Jahre und Jahrzehnte entworfen – eine Welt, die von KI durchdrungen sein wird
- Künstliche Intelligenz: Expertenwissen gegen Hysterie Der renommierte Gehirnforscher, Psychiater und Bestseller-Autor Manfred Spitzer ist ein ausgewiesener Experte für neuronale Netze, auf denen KI aufbaut
- Obwohl Künstliche Intelligenz (KI) derzeit in aller Munde ist, setzen bislang nur wenige Unternehmen die Technologie wirklich erfolgreich ein
- Wie funktioniert Künstliche Intelligenz (KI) und gibt es Parallelen zum menschlichen Gehirn? Was sind die Gemeinsamkeiten von natürlicher und künstlicher Intelligenz, und was die Unterschiede? Ist das Gehirn nichts anderes als ein biologischer Computer? Was sind Neuronale Netze und wie kann der Begriff Deep Learning einfach erklärt werden?Seit der kognitiven Revolution Mitte des letzten Jahrhunderts sind KI und Hirnforschung eng miteinander verflochten
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "DeepSeek R1: KI-Modell auf NVIDIA RTX 5090 im Test" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.