News:

Willkommen im Notebookcheck.com Forum! Hier können Sie über alle unsere Artikel und allgemein über notebookrelevante Dinge diskutieren. Viel Spass!

Main Menu

Post reply

Other options
Verification:
Please leave this box empty:
Shortcuts: ALT+S post or ALT+P preview

Topic summary

Posted by RobertJasiek
 - Yesterday at 21:15:14
Quote from: Groove on Yesterday at 20:08:13Bei der Inferenz haben Tensor Cores und der ganze Nvidia Bling Bling so gut wie keinen Nutzen, da zählt nur möglichst viel Speicherbandbreite und möglichst viel Speicher.

Falsch - es hängt, wie ich es schon oft erklärt habe, von der KI-Anwendung ab. Die von mir genutzte KI (kein LLM) im Inferenzing läuft seit Jahren super auf allen Kernen via CUDA, CuDNN und TensorRT kombiniert. Speicherbandbreite und VRAM (1GB habe ich mit der KI noch nie erreicht) sind dabei belanglos. (Aber 64GB RAM habe ich gefüllt nach 2 1/2h Berechnung.) Nur mit OpenCL ist Inferenzing nur 1/3 so schnell. Das "ganze Nvidia Bling Bling" macht den Unterschied des Geschwindigkeitfaktors 3!
Posted by Groove
 - Yesterday at 20:08:13
Du wirfst da aber auch einfach zwei Dinge Durcheinander, die unterschiedlicher nicht sein könnten. Der DGX ist für das Training einer KI gebaut, weniger für die Interferenz eines bestehenden LLMs. Für ersteres ist er ziemlich ungeschlagen, was Preis/Leistung angeht. Und ja da hat man mit Cuda nun mal die Nase vorne. Vor allem weil im Rechenzentrum die gleiche Technologie läuft. Bei der Inferenz haben Tensor Cores und der ganze Nvidia Bling Bling so gut wie keinen Nutzen, da zählt nur möglichst viel Speicherbandbreite und möglichst viel Speicher. Das aber ein Modell nicht darauf läuft, halt ich für Quatsch. Es gibt vielleicht preisliche Alternativen wo es schneller läuft, aber gar nicht auf dem DGX?
Posted by RobertJasiek
 - Yesterday at 07:38:53
CUDA, CUDA, CUDA - nein, es ist nicht allein CUDA! Vielmehr gibt es bei Nvidia auch Tensor-Kerne und CuDNN- und TensorRT-Bibliotheken, damit KI alle Kerne effizient nutzen kann! Tut dies eigentlich OptiX? Ferner bin ich nicht davon überzeugt, dass DGX Industriestandard sei, sondern hätte Bedenken, ob die von mir genutzte KI dort gut läuft.
Posted by Redaktion
 - February 22, 2026, 23:36:26
Nvidias DGX Spark Plattform bekommt mit dem AMD Ryzen AI Max+ 395 ernst zu nehmende Konkurrenz. Beide Chips bieten auf Augenhöhe liegende Leistung bei FP16- und FP64-Berechnungen. Ein Blick auf Architektur, Software und Preis zeigt jedoch deutliche Unterschiede für Interessierte.

https://www.notebookcheck.com/Nvidia-DGX-Spark-gegen-AMD-Ryzen-AI-Max-395-Kompakte-KI-Workstations-im-Vegleich.1232293.0.html