YT/Just Josh hat eine AI/LLM gebenchmarkt: youtu.be/oyrAur5yYrA?t=743 ("ZBook Ultra G1a: Finally, Strix Halo in a Laptop"):
17,2 Token pro Sekunde mit Qwen2.5-14B Q4_K_M (8,99 GB).
Wie im vorherigen Beitrag von mir geschrieben:
Wenn 121 GB/s stimmt: 121GB/s / 8,99GB = 13,5 Token pro Sekunde.
Wenn 179 GB/s stimmt: 179GB/s / 8,99GB = 19,9 Token pro Sekunde.
Damit wäre die gemessenen 121 GB/s zum Glück falsch: 8,99 GB * 17,2 [Token pro Sekunde = GB/s] = 154,6 GB/s.

Zum Vergleich (YT/"I tried to run a 70B LLM on a MacBook Pro .."), ein M4 Pro (256-bit, LPDDR5X-8533, 273 GB/s) kommt auf 18,79 Token pro Sekunde (youtu.be/5bNDx5XBlLY?t=157) mit der gleichen 8,99 GB LLM. (theoretisch geschätzt wären es übrigens: 273GB/s*0,7/8,99GB = 21,25 Token pro Sekunde, also passt ca.)

-> AMD Strix Halo (256-bit, LPDDR5X-8000, = 256GB/s) vs M4 Pro (256-bit, LPDDR5X-8533, = 273GB/s): 17,2 t/s vs 18,79 t/s. Also, passt und die gemessenen 121 GB/s sind zum Glück falsch.

Im vid wird noch erwähnt, dass sich die im BIOS eingestellten 96 GB RAM nicht von der Software nutzen lassen.

(wie auch auf .net geschrieben)

Seltsam, schrieben ist fast doppelt so schnell wie lesen:

QuoteAIDA64 / Memory Write: 212172 MB/s
AIDA64 / Memory Read: 121177 MB/s

Strix Halo ist ein 256-bit Chip mit LPDDR5X-8000 (ob quad- oder dual-channel ist egal, wenn 64-bit single-channel sind, dann wäre es quad-channel; die dual-channel in eurer Beschreibung sind eh falsch), damit ist die theoretische Bandbreite: 8000MT/s*(256-bit/8)/1000 = 256 GB/s und die praktische bzw. die, die gemessen werden sollte, ca. 70-80% davon, also 256 GB/s * 0.7 = 179 GB/s. Gemessen wurden aber nur 121 GB/s.

-> Warum wurde keine LLM, wie z.B. die Llama-3.3-70B-Instruct-Q8_0.gguf (74.98 GB) (oder Q6_K (57.89 GB), falls man den Rest an freiem RAM für einen größeren Kontext nutzen möchte) gemessen, um zu sehen, wie schnell (Token pro Sekunde) es läuft? Würde das die 121 GB/s bestätigen? Und wenn ja, dann wäre Strix Halo ein großer Fail.

Ausrechnen kann man die theoretischen Token pro Sekunde (funktioniert für "dichte" Modelle wie Llama-3, nicht für MOE (mixture of experts)):
Wenn 179 GB/s:
Bandbreite / Dateigröße
= 179 GB/s / 74,98 GB
= 2,39 tokens/sWenn 121 GB/s:
= 121 GB/s / 74,98 GB
= 1,6 tokens/s
Die 128 GB RAM, von denen sich 96 GB nutzen lassen, sind doch gerade für eine LLM gemacht. Selbst AMD macht mit Strix Halo Werbung dafür, dass es große LLMs (also (deutlich) größer als eine GPU an VRAM hat) schneller ausführt als eine 4090 (24 GB, 1 TB/s) oder als eine 5090 (32 GB, 1.8 TB/s), wenn die LLM komplett in den RAM passt und nicht ausgelagert werden muss.

Quote from: V. Pfo on April 19, 2025, 15:55:13Bei...

Quotesehr hohe Leistung pro Volumen

...habe ich aufgehört zu lesen. Spätestens ab diesem Punkt ist klar, dass jemand ohne blassen Schimmer von Sprachen, sich in einer Übersetzung versucht hat.

Ich würde es eher "sprachliche Grenzen der KI" oder: "Hurra! Wir haben uns einen Fachredakteur gespart!" nennen.

"Leistungsstarke MacBook Pro Alternative" oben drüber schreiben und das MacBook dann bei den allermeisten Messwerten, Benchmarks etc. einfach nicht mit aufführen. Und dort, wo es erscheint macht die "Alternative" zumeist einen schlechteren Job...

Bitte lasst doch dieses click baiting. Klar, "MacBook" oder "Apple" im Titel bringen Euch Klicks, es wird aber peinlich, wenn man diese Referenz dann im Laufe des Artikels einfach vergisst bzw. aus guten Gründen unterschlägt.

Bitte ändern.
Danke.

Bei...

Quotesehr hohe Leistung pro Volumen

...habe ich aufgehört zu lesen. Spätestens ab diesem Punkt ist klar, dass jemand ohne blassen Schimmer von Sprachen, sich in einer Übersetzung versucht hat.

Da ich selber Besitzer eines HP ZBook Fury G9 bin und es gerne etwas schneller sein darf - dazu mit KI Funktionen - fand ich die neuen ZBooks ganz interessant.
Ich war aber sofort raus, als ich las, dass der Ram fest verbaut ist und damit auch nicht wechselbar/erweiterbar. Das war immer das wichtigste für mich - dass man wie beim Fury 4! (in Worten vier!) Festplatten und auch 4 Speicherbänke hat. Dieses Teil ist mehr Spielzeug als Arbeitstier und bestenfalls als Spielzeug für Influencer die in irgendeinem Cafe einen Latte Macchiato schlürfen gedacht.
Das HP selbst nicht daran glaubt, dass das ein echtes ZBook ist zeigt wohl auch das fehlende "Z" auf dem Deckel..😉

Der oben verlinkte Test schreibt in der Tabelle mit den Spezifikationen des Testgerätes, vermutlich so nicht in D-Land erhältlich:
RAM: 128 GB, LPDDR5x-8533, Dual-Channel, Soldered

CAMM gibt es (noch) nicht mit den Specs.

LPDDR5x-Speicher gibt es als CAMM bis 7500 MT/s, fällt hier aber wie gesagt eh raus.

QuoteDie 128GB RAM würde ich mal als ausreichend ansehen, wer will da noch aufrüsten?

Bisher kann ich kein 128GB Modell von HP für Deutschland sehen. Das Asus gibt es hier nicht mal mit 64.

Dummerweise ist das LPDDR5x-Speicher, den gibt es nicht zum "erweitern", da immer verlötet. Nichtmal als steckbares CAMM.

Die 128GB RAM würde ich mal als ausreichend ansehen, wer will da noch aufrüsten?

Nachrüstbarer RAM wäre bei Strix Halo offenbar keine Option gewesen. Das wurde bei LTT in Bezug auf den Framework Desktop erklärt, wo auf Anfrage ein AMD Engineer Simulationen mit equivalenten CAMM-Modulen machte und keine Variante mit ausreichender Signalstabilität gefunden werden konnte.

"Contra : RAM nicht wartbar" . Ich wußte bisher nicht daß RAM gewartet werden muß. Muß man ihn öfter putzen :-) ? Wenn er allerdings nicht erweiterbar ist, wäre das schon ein Nachteil. Jedoch ist der Platz in einem 14 Zöller knapp . Da verstehe ich schon den Hersteller daß er lieber platzsparend auflötet. In der Regel weiß man, wofür man das Gerät benutzen will und kauft dafür dann die nötige RAM - Ausstattung. Zumal Nachrüsten in der Regel teuer wird da man meist die vorhandenen Module entsorgen muß. Mehr als zwei Steckplätze gibt es bisher nur in 18- Zöllern. 

Der englische Test zu dem Gerät ist ja inzwischen schon einige Tage alt und hat zahlreiche Mängel, die auch in den Kommentaren angesprochen wurden. Und jetzt kommt statt einer Überarbeitung für die deutsche Variante so eine lieblose KI Übersetzung...