Text only | Text with Images

NotebookCHECK - Notebook Forum

Notebookcheck Artikel => Sonstige NBC Artikel => Topic started by: Redaktion on March 29, 2026, 14:53:16

Title: Keine GPU? Kein Problem: Eigenes LLM hosten macht mehr Spaß als zensierte Angebote großer Anbieter
Post by: Redaktion on March 29, 2026, 14:53:16
Ganz gleich, ob es darum geht, eine D&D-Kampagne zu leiten, Code-Probleme zu beheben, Ideen zu entwickeln, NSFW-Inhalte zu erstellen oder die von den großen Anbietern gesetzten Einschränkungen zu umgehen: Mit KoboldCPP lässt sich ein eigenes LLM einfach hosten – und das funktioniert selbst ohne GPU überraschend gut.

https://www.notebookcheck.com/Keine-GPU-Kein-Problem-Eigenes-LLM-hosten-macht-mehr-Spass-als-zensierte-Angebote-grosser-Anbieter.1261645.0.html
Title: Re: Keine GPU? Kein Problem: Eigenes LLM hosten macht mehr Spaß als zensierte Angebote großer Anbiet
Post by: ll on March 29, 2026, 17:32:32
also nur aufm prozessor ausgeführt landest du bei 11 bis 15 tk/s

was mega wenig is

zu wenig um damit flüssig irgendwas zu machen
Title: Re: Keine GPU? Kein Problem: Eigenes LLM hosten macht mehr Spaß als zensierte Angebote großer Anbiet
Post by: TobiM. on March 31, 2026, 09:12:56
Flüssig was zu machen ist mehr als flüssig zu lesen. 11-15 reicht locker um zu lesen. Ich als schneller Leser der auch verstehen will ist diese Geschwindigkeit tatsächlich ausreichend.
Title: Re: Keine GPU? Kein Problem: Eigenes LLM hosten macht mehr Spaß als zensierte Angebote großer Anbiet
Post by: Udojrbfbdb on April 04, 2026, 16:50:45
Finde bis 16 GB alle LLMs scheiße.
Text only | Text with Images