Post reply

Name
Email
Subject
Message icon

Other options

Return to this topic
Don't use smileys

Verification:

Please leave this box empty:

Shortcuts: ALT+S post or ALT+P preview

Topic summary

Posted by Rapha

- Yesterday at 00:48:35

Quote from: mark II on July 19, 2026, 12:24:30Wird dann Offline/Home-AI möglich?

Kommt drauf an was Du vorhast. Es gibt schon länger sehr gute Offline-Modelle, die aber teilweise bis zu 2TB groß sind. Bedeutet es braucht dafür mindestens 2TB RAM oder noch besser (weil schneller) Grafikkarten mit 2TB. Da reden wir aber von einer Preisrange die selbst Einfamilienhäuser neidisch macht.

Wie schon von geli1982 angesprochen sind die Qwen 3.6 Modelle klein aber gut, Gemma 4 liefert für seine Größe auch ganz gut ab. Die 12B Version von Gemma 4 kann man keinesfalls mit ChatGPT vergleichen, läuft dafür aber auf handelsüblichen Geräten mit 16GB und kann simple Aufgaben übernehmen.

Kimi K2.5 war in der Vollversion knapp 600GB groß – K3 wird das sicherlich nicht reduzieren...

Posted by geli1982

- July 19, 2026, 21:14:49

Schau dir Qwen3.6 27b, oder qwen3.6 35b an. Für Offline Anwendungen daheim ist das richtig gut. 24gb VRAM brauchst du dazu mindestens. 48gb wären besser, weil du dann alles in Q8 Quantisierung laufen lassen kannst. Ich sehe von Q4 auf Q8 noch eine merkliche Qualitätsverbesserung.

Posted by mark II

- July 19, 2026, 12:24:30

Wird dann Offline/Home-AI möglich?

Posted by Redaktion

- July 19, 2026, 10:09:06

Moonshot AI hat Kimi K3 veröffentlicht, ein KI-Modell mit 2,8 Billionen Parametern. Es lässt sich ab sofort in der Kimi-App und auf kimi.com ausprobieren, auch ohne Bezahl-Abo. Die offenen Modellgewichte sollen bis zum 27. Juli folgen. Bei der Leistung ordnet Moonshot das Modell selbst knapp hinter den Topmodellen von Anthropic und OpenAI ein.

https://www.notebookcheck.com/Kimi-K3-Chinas-Riesen-KI-ist-da-und-jeder-kann-sie-gratis-testen.1346605.0.html