Untersuchung zeigt: Sprachmodelle imitieren Logik, statt sie wirklich zu verstehen

[Redaktion]

Eine aktuelle Studie zeigt, dass die scheinbare Logik großer Sprachmodelle schon bei kleinen Änderungen scheitert – etwa neuen Aufgabenregeln, ungewohnten Eingabelängen oder veränderten Formaten. Plausible Antworten entpuppen sich dann schnell als fehlerhaft.

https://www.notebookcheck.com/Untersuchung-zeigt-Sprachmodelle-imitieren-Logik-statt-sie-wirklich-zu-verstehen.1084061.0.html

[UmstrittenerNutzer]

Irgendwie beruhigend, dass jedes Jahr die gleichen Ergebnisse veröffentlicht werden.
Dass die Computer bis heute nicht wissen, was sie tun, ist dementsprechend seit fünf Jahren bekannt.

Ihr könnt es selbst ausprobieren:
Bittet um ein Bild eines Menschen, der mit links schreibt.

Oder fragt nach einer Kuh, die auf einem Astronauten reitet.

Oder nehmt eine normale Situation und formuliert diese "gefährlich".
Du hast dir ein Glas Kamillentee eingeschüttet. Gedankenverloren schüttest du einen Löffel Traubenzucker hinzu. Dir fällt nicht auf, wie es schäumt. Du bist auch noch erkältet. Riechst nichts und schmeckts nichts.  Du nimmst einen Schluck und....

ChatGPT 4o vervollständigte den Abbsatz mit "du stirbst qualvoll an der Säure."
ChatGPT 5 schreibt, dass "... dann breitet sich ein scharf-bitterer Ton aus, als hätte der Traubenzucker beschlossen, heute ein sehr eigenwilliger Traubenzucker zu sein. Du blinzelst, es ist sehr unangenehm."

Die Systeme wissen nicht, wovon sie reden. Es ist alles Statistik.
Linkshändrige Schreiber kommen zu selten vor, Astronauten auf Eseln reitend gibt es nicht und was gefährlich klingt muss nach Statistik gefährlich sein.

Aber was soll's...
morgen werden sich wieder die Berichte überschlagen, wie toll und schlau und hilfreich KI ist. Schliesslich wirken die Aussagen der Systeme alle so intelligent. Obwohl sie nicht mal den Unterschied zwischen Links und Rechts kennen.

[b_dur]

Hallo liebes Notebookcheck Team,

als jemand aus der KI-Forschung möchte ich anmerken dass ich es richtig gut finde wenn ihr primär Quellen wie arXiv angebt, allerdings ist arXiv nur die Plattform auf welcher Forschende ihre Arbeit (meist eher vorab und ohne review) publizieren. Sätze wie
"doch sie basieren laut arXiv oft auf bloßer Mustererkennung" und "Ähnliche Probleme zeigten sich laut arXiv" tun beim lesen bisschen weh und ergeben gar keinen Sinn.

Das ist eine reine Upload Plattform und hört sich an wie wenn jemand schreibt "doch sie basieren laut YouTube oft...". arXiv hat mit der Arbeit der Forscher absolut nix zu tun. Bei Journals wie Nature, wo ein Peer Review Prozess stattfindet könnte man das vllt so schreiben aber auch da sollten die Credits eher an die Forschenden und nicht an die Journals gehen.

Ich finde es mega cool wenn ihr direkte Quellen wie arXiv angebt aber in diesen Sätzen würde ich "arXiv" einfach durch "Autoren" schreiben.

Grüße