Keine GPU? Kein Problem: Eigenes LLM hosten macht mehr Spaß als zensierte Angebote großer Anbieter

[Redaktion]

Ganz gleich, ob es darum geht, eine D&D-Kampagne zu leiten, Code-Probleme zu beheben, Ideen zu entwickeln, NSFW-Inhalte zu erstellen oder die von den großen Anbietern gesetzten Einschränkungen zu umgehen: Mit KoboldCPP lässt sich ein eigenes LLM einfach hosten – und das funktioniert selbst ohne GPU überraschend gut.

https://www.notebookcheck.com/Keine-GPU-Kein-Problem-Eigenes-LLM-hosten-macht-mehr-Spass-als-zensierte-Angebote-grosser-Anbieter.1261645.0.html

[ll]

also nur aufm prozessor ausgeführt landest du bei 11 bis 15 tk/s

was mega wenig is

zu wenig um damit flüssig irgendwas zu machen