CUDA, CUDA, CUDA - nein, es ist nicht allein CUDA! Vielmehr gibt es bei Nvidia auch Tensor-Kerne und CuDNN- und TensorRT-Bibliotheken, damit KI alle Kerne effizient nutzen kann! Tut dies eigentlich OptiX? Ferner bin ich nicht davon überzeugt, dass DGX Industriestandard sei, sondern hätte Bedenken, ob die von mir genutzte KI dort gut läuft.
Du wirfst da aber auch einfach zwei Dinge Durcheinander, die unterschiedlicher nicht sein könnten. Der DGX ist für das Training einer KI gebaut, weniger für die Interferenz eines bestehenden LLMs. Für ersteres ist er ziemlich ungeschlagen, was Preis/Leistung angeht. Und ja da hat man mit Cuda nun mal die Nase vorne. Vor allem weil im Rechenzentrum die gleiche Technologie läuft. Bei der Inferenz haben Tensor Cores und der ganze Nvidia Bling Bling so gut wie keinen Nutzen, da zählt nur möglichst viel Speicherbandbreite und möglichst viel Speicher. Das aber ein Modell nicht darauf läuft, halt ich für Quatsch. Es gibt vielleicht preisliche Alternativen wo es schneller läuft, aber gar nicht auf dem DGX?
Quote from: Groove on February 23, 2026, 20:08:13Bei der Inferenz haben Tensor Cores und der ganze Nvidia Bling Bling so gut wie keinen Nutzen, da zählt nur möglichst viel Speicherbandbreite und möglichst viel Speicher.
Falsch - es hängt, wie ich es schon oft erklärt habe, von der KI-Anwendung ab. Die von mir genutzte KI (kein LLM) im Inferenzing läuft seit Jahren super auf allen Kernen via CUDA, CuDNN und TensorRT kombiniert. Speicherbandbreite und VRAM (1GB habe ich mit der KI noch nie erreicht) sind dabei belanglos. (Aber 64GB RAM habe ich gefüllt nach 2 1/2h Berechnung.) Nur mit OpenCL ist Inferenzing nur 1/3 so schnell. Das "ganze Nvidia Bling Bling" macht den Unterschied des Geschwindigkeitfaktors 3!
Das Inferenzen - wie die auch der Artikel und die Diskussion im allgemeinen - bezieht sich hier ganz offensichtlich auf LLMs. Das du ML Anwendungen hast die auf CUDA optimiert sind, stelle ich gar nicht in Frage. Aber ich bezweifle das du für diese Fälle tatsächlich einen DGX nutzen würdest anstatt einer deutlich schnelleren und günstigeren Nvidia GPU. Unterm Strich ist das Meiste von den Performance Problemen aber weniger ein echter Hardwarevorteil als schlichte Softwareoptimierungen. CUDA ist genau auf NVs Hardwarestack optimiert und wesentlich ausgereifter als OpenCL, das auf einer großen Bandbreite an Hardware laufen muss. Würde man die Anwendung z.B. nach RoCm migrieren wäre der Vorteil wahrscheinlich nicht mehr so groß.
Der Spark hat seinen spezifischen Einsatzbereich und das ist das Training von LLMs. Alles andere ist Nice to have, aber eben nicht sein Haupteinsatzgebiet. Da gibt es andere Lösungen, die schneller und/oder günstiger sind.