Quote from: Piranha on August 10, 2025, 15:24:59Quote from: Ronny123 on August 07, 2025, 22:48:43Und falls es jemanden interessiert, das oss-120B Modell läuft unter Windows in lm Studio ohne Optimierungen mit ca 20Token/s und unter Linux mit 35 Token/s.
Ich bekomme es unter Windows nicht zum laufen:
"error loading model: unable to allocate Vulkan0 buffer"
Hast du irgendwelche besonderen Settings eingestellt?
Quote from: Ronny123 on August 07, 2025, 22:48:43Und falls es jemanden interessiert, das oss-120B Modell läuft unter Windows in lm Studio ohne Optimierungen mit ca 20Token/s und unter Linux mit 35 Token/s.