Nvidia DGX Spark gegen AMD Ryzen AI Max+ 395: Kompakte KI-Workstations im Vegleich

[Redaktion]

Nvidias DGX Spark Plattform bekommt mit dem AMD Ryzen AI Max+ 395 ernst zu nehmende Konkurrenz. Beide Chips bieten auf Augenhöhe liegende Leistung bei FP16- und FP64-Berechnungen. Ein Blick auf Architektur, Software und Preis zeigt jedoch deutliche Unterschiede für Interessierte.

https://www.notebookcheck.com/Nvidia-DGX-Spark-gegen-AMD-Ryzen-AI-Max-395-Kompakte-KI-Workstations-im-Vegleich.1232293.0.html

[RobertJasiek]

CUDA, CUDA, CUDA - nein, es ist nicht allein CUDA! Vielmehr gibt es bei Nvidia auch Tensor-Kerne und CuDNN- und TensorRT-Bibliotheken, damit KI alle Kerne effizient nutzen kann! Tut dies eigentlich OptiX? Ferner bin ich nicht davon überzeugt, dass DGX Industriestandard sei, sondern hätte Bedenken, ob die von mir genutzte KI dort gut läuft.

[Groove]

Du wirfst da aber auch einfach zwei Dinge Durcheinander, die unterschiedlicher nicht sein könnten. Der DGX ist für das Training einer KI gebaut, weniger für die Interferenz eines bestehenden LLMs. Für ersteres ist er ziemlich ungeschlagen, was Preis/Leistung angeht. Und ja da hat man mit Cuda nun mal die Nase vorne. Vor allem weil im Rechenzentrum die gleiche Technologie läuft. Bei der Inferenz haben Tensor Cores und der ganze Nvidia Bling Bling so gut wie keinen Nutzen, da zählt nur möglichst viel Speicherbandbreite und möglichst viel Speicher. Das aber ein Modell nicht darauf läuft, halt ich für Quatsch. Es gibt vielleicht preisliche Alternativen wo es schneller läuft, aber gar nicht auf dem DGX?

[RobertJasiek]

Bei der Inferenz haben Tensor Cores und der ganze Nvidia Bling Bling so gut wie keinen Nutzen, da zählt nur möglichst viel Speicherbandbreite und möglichst viel Speicher.

Falsch - es hängt, wie ich es schon oft erklärt habe, von der KI-Anwendung ab. Die von mir genutzte KI (kein LLM) im Inferenzing läuft seit Jahren super auf allen Kernen via CUDA, CuDNN und TensorRT kombiniert. Speicherbandbreite und VRAM (1GB habe ich mit der KI noch nie erreicht) sind dabei belanglos. (Aber 64GB RAM habe ich gefüllt nach 2 1/2h Berechnung.) Nur mit OpenCL ist Inferenzing nur 1/3 so schnell. Das "ganze Nvidia Bling Bling" macht den Unterschied des Geschwindigkeitfaktors 3!