Ich besitze genau den selben Rechner, allerdings mit 128GB RAM. Meiner ist von Bosgame, der M5. Import hat problemlos geklappt.
Und falls es jemanden interessiert, das oss-120B Modell läuft unter Windows in lm Studio ohne Optimierungen mit ca 20Token/s und unter Linux mit 35 Token/s.
Quote from: Ronny123 on August 07, 2025, 22:48:43Und falls es jemanden interessiert, das oss-120B Modell läuft unter Windows in lm Studio ohne Optimierungen mit ca 20Token/s und unter Linux mit 35 Token/s.
Ich bekomme es unter Windows nicht zum laufen:
"error loading model: unable to allocate Vulkan0 buffer"
Hast du irgendwelche besonderen Settings eingestellt?
Quote from: Piranha on August 10, 2025, 15:24:59Quote from: Ronny123 on August 07, 2025, 22:48:43Und falls es jemanden interessiert, das oss-120B Modell läuft unter Windows in lm Studio ohne Optimierungen mit ca 20Token/s und unter Linux mit 35 Token/s.
Ich bekomme es unter Windows nicht zum laufen:
"error loading model: unable to allocate Vulkan0 buffer"
Hast du irgendwelche besonderen Settings eingestellt?
Das Modell nochmal runterladen, ohne reconnect! Oder manuell über den Browser downloaden. Bei nen Reconnect gibt es manchmal Probleme mit den Modell habe ich so festgestellt. Und alle Einstellungen auf Standard lassen außer GPU offload, das muss auf max stehen.