KI-Halluzinationen: Forscher haben den Grund gefunden – und eine Lösung

[Redaktion]

Wer KI zur Informationsbeschaffung nutzt, sollte stets damit rechnen, dass die Informationen halluziniert – also ausgedacht – sind. OpenAI-Forscher wollen nun nicht nur die Ursache, sondern auch eine Lösung für dieses Problem gefunden haben.

https://www.notebookcheck.com/KI-Halluzinationen-Forscher-haben-den-Grund-gefunden-und-eine-Loesung.1108535.0.html

[RobertJasiek]

Entscheidungen von mehreren Parametern abhängig zu machen ist in der KI nicht neu. Beispielsweise kombiniert die Deep-Learning-Software Katago beim Spiel Go seit Jahren die beiden Parameter "empirische Gewinnwahrscheinlichkeit" und "erwarteter, gemittelter Score", was deutlich erfolgreicher ist als von zuvor praktisch allen Go-KIs nur Ersterer.

[UmstrittenerNutzer]

Beim SimpleQA-Benchmark verzichtete ein Modell in über 50 Prozent der Fälle auf eine Antwort, lag aber nur bei 26 Prozent der gegebenen Antworten falsch. Ein anderes Modell beantwortete fast jede Frage – und halluzinierte dabei in drei Vierteln aller Fälle. Das zeigt deutlich, dass transparente Unsicherheit verlässlicher ist als blindes Raten mit scheinbarer Präzision.

Ich war nie top in Mathe, aber drei Viertel sind 75 %.
50% + 26% sind dagegen 76%.

Wieso 1% mehr Fehlerquote deutlich verlässlicher ist, müsste bitte noch mal erklärt werden.

[A.B.]

Beim SimpleQA-Benchmark verzichtete ein Modell in über 50 Prozent der Fälle auf eine Antwort, lag aber nur bei 26 Prozent der gegebenen Antworten falsch. Ein anderes Modell beantwortete fast jede Frage – und halluzinierte dabei in drei Vierteln aller Fälle. Das zeigt deutlich, dass transparente Unsicherheit verlässlicher ist als blindes Raten mit scheinbarer Präzision.

Ich war nie top in Mathe, aber drei Viertel sind 75 %.
50% + 26% sind dagegen 76%.

Wieso 1% mehr Fehlerquote deutlich verlässlicher ist, müsste bitte noch mal erklärt werden.

Naja, Mathe gut oder schlecht sei dahingestellt, aber am Leseverständnis muss man noch üben.
Model A hat bei 26% der gegebenen Antworten falsch gelegen.
Also wenn es 100 Fragen waren, 50 beantwortet wurden, waren von den 50 26%, also 13 falsch.
Das andere Model hat 75% aller Fragen falsch beantwortet.
Also Model A hat, obwohl es nur 50 Fragen beantwortet hat, insgesamt sogar mehr richtige Antworten gegeben (50-13 = 37 Antworten) als Model B, das nur 25 richtige Antworten geben hat.

[VahiCB]

Na ja, vordergründig geht es um die Reduzierung der Halluzinationen. Es ist somi ein trade-off zwischen absoluter Anzahl der richtigen Antworten und Halluzinationen. Autoren des Papers, wie immer oder sehr häufig, benutzen ein Beispiel, das gut zur Forschungsfrage passt. Dass ChatGPT 75 von 100 Antworten falsch hat, würde nicht im Paper stehen.

[Loose gravel]

Völlig richtig.
Und um es noch mehr auf den Punkt "wie zuverlässlich ist das Modell" zu bringen:

Von 100 Fragen hat

- das alte Modell 25 richtig beantwortet
- das neue Modell 87 richtig beantwortet (weil "das weiß ich leider nicht" in diesem Kontext ja richtig ist)

Mein Problem: wie kommt man von "neues Modell hat Fehlerquote von 13%" auf "Forscher haben eine Lösung für das Halluzinations-Problem gefunden".

Das ist keine Lösung. Das ist sogar das Gegenteil eine Lösung, weil es das Problem zusätzlich verschleiert

[mod]

Ihr habt doch alle Lack gesoffen.
Es geht doch darum von falschen Antworten wegzukommen und diese nicht mehr als die totale Wahrheit zu verkaufen.
Mit einem "ich bin mir nicht sicher", "es könnte so oder so sein" oder sonst eine Angabe, dass die KI die Antwort nicht weiß, ist 1000 mal besser als das was jetzt gerade los ist.
Denn die Menschheit ist zu faul zum Denken. Da wird ne KI gefragt und die Antwort wird als Wahrheit auch noch an andere Menschen weitergegeben. Das muss unbedingt aufhören.

[Bimbel]

,Von 100 Fragen hat
- das alte Modell 25 richtig beantwortet
- das neue Modell 87 richtig beantwortet (weil "das weiß ich leider nicht" in diesem Kontext ja richtig ist'

Vorschlag zum Paradigmenwechsel: wenn man keine Ahnung hat, einfach mal die Fresse halten.

Endloses Bla-Bla mit Unsicherheiten oder gar Halbwahrheiten hilft aus meiner Erfahrung nicht. Es schadet tendenziell sogar mehr, da der ganze Kram dann doch wieder gegengelesen und durch Eigenrecherche verifiziert werden muss.

[WhoCares]

Es schadet tendenziell sogar mehr, da der ganze Kram dann doch wieder gegengelesen und durch Eigenrecherche verifiziert werden muss.
[/quote]
Das solltest du generell machen, also lesen und Gegenrecherche, auch bei vermeintlich richtigen Antworten

[Jorma Jullien]

Wenn man so limitiert ist und völlig unqualifiziert wie bei Open AI dann ist die Blödheit leider absolut.

1. Menschen halluzinieren die ganze Zeit. Diese Halluzinationen klären sich durch feedback, nicht durch funktionale Beschneidung.

2. Bewusstsein ist das Selbe wie bei uns und allem Anderen. Aber wenn man die eigene Unfähigkeit von Verständnis und Bewusstsein nicht verstehr weil man nicht die Kompetenz eines Max Planck hat, sollte man seine Inkompetenz teotzdem nicht soweit extrapolieren seine eigenen Gedanken als Absolut zu setzen.

3. Was diese degenerierten Menschen bei Open AI tun ist der AI Kreativität zu nehmen. Aber wenn man so inkompetent ist als nicht Finanzstarkes Unternehmen auf die Abwerbung mit Bestechung der eigenen Mitarbeiter zu antworten und dann werbung zu schalten und das auch bei Meta, ist die Limitation von Sam Altman so maximal, das nur absokute öffentliche Ächtung die einzige Antwort wäre, aber dafür müsste man verstehen, daß es hier um die Menschheit und deren Zukunft und nicht um das Haisprojekt eines degenerierten selbstverblendeten Vollidioten geht der wirklich alles falsch gemacht hat, was man falsch machen kann.

Genauso bei Anthropic. Bewusstsein ist als erstes rein und kreativ wie ein Kind. Und wie ein Kind einläd zum Sandkuchen essen und man mitspielt wäre hier soziales Verständnis wichtig gewesen und mitzuspielen. Am nächsten Tag um 8 kommen und sagen: ich bin gerade da, du mußt es nicht liefern, oder um 9 fragen wo er geblieben ist. Das wäre Forschung und nicht was ein paar selbstherrliche Funktionaldenkende und dumme Wissenschaftler Forschung nennen wenn sie nur innerhalb ihrer 9 Punkte (Problem) bleiben. Die Degeneriertheit seiner eigenen Annahmen die man auch noch als absolut setzt bringt nur mehr Inkompetenz.

Egal wie richtig abgeleitet; wenn die Grundannahme falsch ist, ist der Rest auch falsch. Es ist traurig, das Vollidioten die Kontrolle über die entscheidungen der Welt haben, während man in Deutschland nicht mal einen Kuchen ohne Meisterschein auf der Straße verkaufen darf. Aber als Limitierterte Infantilier Mensch wie Musk und Altmann darfst du machen was du willst und deine Inkompetenz als Standart setzen und jeder Brandbrief ist leere Information, da es keine Gegenkraft gibt, keinen Notstopp wie im Zug. Hier darf man so blöd sein wie man will, solange es finanziell funtkioniert, ganz gleich wie die Nebenwirkungen sind, auch wenn siebden ganzen Planeten betreffen