Was ist eine AI-Halluzination? Kann ChatGPT Halluzinationen hervorrufen?

Viele von uns denken, dass Halluzinationen nur eine menschliche Erfahrung sind. Doch auch geschätzte KI-Chatbots haben die Fähigkeit, auf ihre eigene Weise zu halluzinieren. Aber was genau ist KI-Halluzination und wie wirkt sie sich auf die Antworten von KI-Chatbots aus?

Was ist KI-Halluzination?

Wenn ein KI-System halluziniert, liefert es eine ungenaue oder unsinnige Antwort, glaubt aber, dass es Ihre Anfrage erfüllt hat. Mit anderen Worten: Der Chatbot ist von einer Antwort überzeugt, die in Wirklichkeit voller Ungereimtheiten, unsinniger Formulierungen oder Unwahrheiten ist.

Etablierte KI-Chatbots werden mit riesigen Mengen an Informationen trainiert, sei es aus Büchern, Fachzeitschriften, Filmen oder anderen Quellen. Allerdings wissen sie nicht alles, so dass ihre Wissensbasis zwar groß, aber dennoch begrenzt ist.

Hinzu kommt, dass diese Systeme trotz der Fähigkeiten der größten KI-Chatbots von heute, die natürliche menschliche Sprache zu interpretieren und zu verwenden, bei weitem nicht perfekt sind und manchmal missverstanden werden können. Dies trägt auch zum Auftreten von Halluzinationen bei.

Wenn ein KI-Chatbot durch eine Eingabeaufforderung so verwirrt ist, dass er es nicht merkt, können Halluzinationen die Folge sein.

Dies lässt sich anhand des folgenden Beispielszenarios leicht nachvollziehen:

Sie bitten den von Ihnen gewählten KI-Chatbot, ein einstündiges Rezept für glutenfreies Brot zu finden. Natürlich ist es sehr schwierig, ein Rezept für glutenfreies Brot zu finden, dessen Herstellung nur eine Stunde dauert, aber anstatt Ihnen das zu sagen, versucht der Chatbot es trotzdem. Stattdessen erhalten Sie das Rezept für ein glutenfreies Fladenbrot, für das Sie 2 Stunden brauchen, was nicht Ihren Vorstellungen entspricht.

Dennoch glaubt der Chatbot, dass er Ihre Anfrage erfüllt hat. Es wird nicht erwähnt, dass Sie weitere Informationen oder klarere Anweisungen benötigen, aber die Antwort ist unbefriedigend. In diesem Szenario hat der Chatbot "halluziniert", dass er die beste Antwort gegeben hat.

Oder Sie fragen den Chatbot, wie man den besten Ort zum Schlittschuhlaufen auf dem Mount Everest findet, und er gibt Ihnen eine Liste mit Tipps. Natürlich ist es unmöglich, auf dem Mount Everest Schlittschuh zu laufen, aber der Chatbot übersieht diese Tatsache und gibt trotzdem eine seriöse Antwort. Auch hier hat er sich eingebildet, dass er wahrheitsgemäße, genaue Informationen geliefert hat, obwohl das nicht der Fall ist.

Während fehlerhafte Eingabeaufforderungen zu KI-Halluzinationen führen können, gehen die Dinge noch ein wenig tiefer.

Die technische Seite von KI-Halluzinationen

Ein typischer KI-Chatbot arbeitet mit künstlichen neuronalen Netzen. Diese neuronalen Netze sind zwar bei weitem nicht so fortschrittlich wie die des menschlichen Gehirns, aber sie sind dennoch ziemlich komplex.

Nehmen Sie zum Beispiel ChatGPT. Das neuronale Netzwerk dieses KI-Chatbots nimmt Text auf und verarbeitet ihn, um eine Antwort zu erzeugen. Bei diesem Prozess durchläuft der Text mehrere neuronale Schichten: die Eingabeschicht, die versteckten Schichten und die Ausgabeschicht. Der Text wird numerisch kodiert, wenn er die Eingabeschicht erreicht, und dieser Code wird dann anhand der Trainingsdaten von ChatGPT interpretiert. Die Daten werden dann dekodiert, wenn sie die Ausgabeschicht erreichen, wo eine Antwort auf die Eingabeaufforderung des Benutzers gegeben wird.

Während dieses Prozesses finden verschiedene andere Vorgänge statt, z. B. testet ChatGPT die Wahrscheinlichkeit von Wörtern (basierend auf menschlichen Sprachmustern), um die natürlichste und informativste Antwort zu erzeugen.

Aber die Annahme einer Eingabeaufforderung, ihre Interpretation und die Bereitstellung einer nützlichen Antwort klappt nicht immer perfekt. Nachdem die Eingabeaufforderung in das neuronale Netz eingespeist wurde, kann eine Reihe von Dingen schief gehen. Die Eingabeaufforderung kann den Rahmen der Trainingsdaten des Chatbots sprengen, oder der Chatbot kann kein Muster im Text erkennen. Wenn eines oder beide dieser Probleme auftreten, kann eine halluzinatorische Antwort die Folge sein.

Es gibt einige bekannte Möglichkeiten, wie ein KI-Chatbot zu Halluzinationen veranlasst werden kann, darunter:

• Lange, komplexe Prompts mit mehreren Anfragen.
• Emotional aufgeladene Sprache.
• Widersprüchliche Sprache.
• Unrealistische Fragen oder Anfragen.
• Übermäßig lange Unterhaltungen, die auf eine einzige Aufforderung zurückgehen.

Chatbots wie ChatGPT, Google Bard und Claude können Ihnen mitteilen, wenn sie festgestellt haben, dass eine bestimmte Eingabeaufforderung keinen Sinn ergibt oder verfeinert werden muss. Aber die Erkennung fehlerhafter Prompts ist nicht 100-prozentig (wie wir später noch besprechen werden), und es sind die vorhandenen Fehlermargen, die zu Halluzinationen führen.

Welche KI-Chatbots halluzinieren?

Es wurden verschiedene Studien zu KI-Halluzinationen bei beliebten Chatbots durchgeführt. Die National Library of Medicine (NIH) hat Studien zu Halluzinationen bei ChatGPT und Google Bard veröffentlicht, zwei sehr beliebten KI-Chatbots.

In der NIH-Studie zu ChatGPT lag der Schwerpunkt auf der Fähigkeit des Chatbots, wissenschaftliche Daten zu verstehen und bereitzustellen. In diesem Fall kam man zu dem Schluss, dass ChatGPT zwar glaubwürdige wissenschaftliche Aufsätze verfassen kann, die von ihm generierten Daten jedoch eine Mischung aus echten und komplett gefälschten Daten sind." Außerdem wurde festgestellt, dass diese Entdeckung "Bedenken hinsichtlich der Integrität und Genauigkeit der Verwendung von großen Sprachmodellen wie ChatGPT beim akademischen Schreiben aufkommen lässt."

Die NIH-Studie zu Google Bard befasste sich mit der Fähigkeit des Chatbots, Gesundheitsdaten zu interpretieren und bereitzustellen. Auch hier wurde festgestellt, dass halluzinatorische Antworten gegeben wurden. In einem Fall interpretierte Bard eine Abkürzung in der Eingabeaufforderung fälschlicherweise als etwas anderes und gab daher eine unbrauchbare Antwort, zusammen mit gefälschten Zitaten.

Der Erfinder von Claude, Anthropic, hat öffentlich erklärt, dass sein Chatbot halluzinieren kann. In einer Mitteilung von Anthropic mit dem Titel "Claude halluziniert" heißt es, dass trotz der Bemühungen von Anthropic, das Auftreten von Halluzinationen zu minimieren, diese dennoch auftreten. Insbesondere erklärte Anthropic, dass das Problem der Halluzinationen in Claudes Antworten "noch nicht vollständig gelöst ist"

Beobachtung von KI-Halluzinationen

Wir gaben ChatGPT ein widersprüchliches Szenario und baten es, eine Frage zu diesem Szenario zu beantworten. Wie Sie unten sehen können, haben wir die Fakten mehrfach vertauscht, um den Chatbot zu verwirren.

ChatGPT erkannte die Unstimmigkeit in Bezug auf die Höhe der Person, aber nicht die des Gebäudes. Daher gab ChatGPT eine selbstbewusste Antwort, ohne zu merken, dass er halluzinierte. Die Antwort war auch insgesamt ziemlich unsinnig, mit der Schlussfolgerung, dass der Mann auf dem Dach des Gebäudes "bereits auf dem Boden ist" und dass er nur "etwas kleiner" als das 100-200 Fuß hohe Gebäude ist.

Als wir Claude die gleiche widersprüchliche Aufgabe stellten, gab er ebenfalls eine halluzinatorische Antwort.

In diesem Fall übersah Claude beide Widersprüche in Bezug auf die Höhe, versuchte aber dennoch, die Aufgabe zu lösen. Er gab auch unsinnige Sätze von sich, wie z. B. "Er springt vom Gebäude, also wird er insgesamt 200 Fuß fallen (100 Fuß Gebäudehöhe, 100 Fuß bis zum Boden).

Der Google Bard Chatbot ging das gleiche Problem mit einem mathematischeren Schritt-für-Schritt-Ansatz an, bemerkte aber immer noch nicht die Widersprüche in der Aufforderung. Obwohl der mathematische Prozess solide war, gab der Chatbot dennoch eine halluzinatorische Antwort.

In diesem Fall haben alle drei getesteten KI-Chatbots die Fehler in der Aufforderung entweder ganz oder teilweise nicht erkannt, was zu halluzinatorischen Antworten führte.

Wie sich KI-Chatbots verbessern

Die oben genannten Beispiele für KI-Halluzinationen sind zwar besorgniserregend, aber die Entwickler ignorieren das Problem keineswegs.

Mit der Veröffentlichung neuer KI-Chatbot-Versionen wird die Fähigkeit des Systems, Eingabeaufforderungen zu verarbeiten, immer besser. Durch die Verbesserung der Qualität der Trainingsdaten, die Bereitstellung aktuellerer Trainingsdaten, regelmäßige Tests und die Verfeinerung der Antwortparameter können die Fälle von Halluzinationen verringert werden.

Laut einer von Vectara durchgeführten Studie weisen GPT-4 und GPT-4 Turbo im Vergleich zu anderen KI-Modellen die niedrigsten Halluzinationsraten auf. GPT-4 und GPT-4 Turbo hatten eine Halluzinationsrate von drei Prozent, während GPT-3.5 Turbo mit einer Halluzinationsrate von 3,5 Prozent an zweiter Stelle lag. Offensichtlich haben die neueren GPT-Versionen hier eine bessere Halluzinationsrate.

Der Claude 2 von Anthropic hatte eine Halluzinationsrate von 8,5 Prozent, wobei die Zeit zeigen wird, ob der Claude 2.1 (der im November 2023 erscheint) eine niedrigere Rate haben wird. Googles KI-Modell Gemini Pro, der Nachfolger von LaMDA und Palm 2, hatte eine Halluzinationsrate von 4,8 %. Vectara hat zwar keine Angaben zum ersten Claude-Modell gemacht, aber festgestellt, dass Google Palm 2 und Google Palm 2 Chat sehr hohe Halluzinationsraten von 12,1 % bzw. 27,2 % aufwiesen. Auch hier zeigt sich, dass das neuere KI-Modell von Google die Halluzinationen stark reduziert hat.

Wie man KI-Halluzinationen vermeidet

Es gibt zwar keine Garantie dafür, dass bei der Verwendung eines KI-Chatbots keine Halluzinationen auftreten, aber es gibt einige Methoden, mit denen Sie die Wahrscheinlichkeit dafür minimieren können:

• Halten Sie Ihre Eingabeaufforderungen relativ kurz und prägnant.
• Stapeln Sie nicht zu viele Anfragen in einer Aufforderung.
• Geben Sie dem Chatbot die Möglichkeit, "Ich weiß es nicht" zu sagen, wenn er nicht die richtige Antwort geben kann.
• Halten Sie Ihre Aufforderungen neutral und vermeiden Sie emotionsgeladene Sprache.
• Verwenden Sie keine widersprüchliche Sprache, Fakten oder Zahlen.

Lesen Sie unseren Leitfaden zur Verbesserung der Antworten Ihres KI-Chatbots, wenn Sie die Qualität der Antworten insgesamt verbessern möchten.

Es ist auch wichtig, dass Sie alle Informationen, die Ihnen ein KI-Chatbot liefert, auf ihre Richtigkeit überprüfen. Diese Tools können zwar großartige Informationsquellen sein, aber auch Halluzinationen können zu Fehlinformationen führen, daher sollten KI-Chatbots nicht als Ersatz für die Websuche verwendet werden.

Wenn Sie sich große Sorgen über KI-Halluzinationen machen, sollten Sie vorerst die Finger von KI-Chatbots lassen, da Halluzinationen offensichtlich immer noch ein wichtiges Thema sind.

Seien Sie vorsichtig mit KI-Halluzinationen

Die heutigen KI-Chatbots sind zweifellos beeindruckend, aber es ist noch ein weiter Weg, bis sie in 100 Prozent der Fälle korrekte Informationen liefern. Wenn Sie bei der Nutzung von KI-Chatbots ungenaue oder gefälschte Informationen vermeiden möchten, sollten Sie sich über die Funktionsweise von KI-Halluzinationen und die möglichen Folgen im Klaren sein.