Schau dir Qwen3.6 27b, oder qwen3.6 35b an. Für Offline Anwendungen daheim ist das richtig gut. 24gb VRAM brauchst du dazu mindestens. 48gb wären besser, weil du dann alles in Q8 Quantisierung laufen lassen kannst. Ich sehe von Q4 auf Q8 noch eine merkliche Qualitätsverbesserung.
Quote from: mark II on Yesterday at 12:24:30Wird dann Offline/Home-AI möglich?
Kommt drauf an was Du vorhast. Es gibt schon länger sehr gute Offline-Modelle, die aber teilweise bis zu 2TB groß sind. Bedeutet es braucht dafür mindestens 2TB RAM oder noch besser (weil schneller) Grafikkarten mit 2TB. Da reden wir aber von einer Preisrange die selbst Einfamilienhäuser neidisch macht.
Wie schon von geli1982 angesprochen sind die Qwen 3.6 Modelle klein aber gut, Gemma 4 liefert für seine Größe auch ganz gut ab. Die 12B Version von Gemma 4 kann man keinesfalls mit ChatGPT vergleichen, läuft dafür aber auf handelsüblichen Geräten mit 16GB und kann simple Aufgaben übernehmen.
Kimi K2.5 war in der Vollversion knapp 600GB groß – K3 wird das sicherlich nicht reduzieren...