Funktioniert ChatGPT besser, wenn man nett zu ihm ist? Wir haben es getestet.

ChatGPT ist nur ein Stück Software, das auf einem Computer läuft, so dass Sie vielleicht nicht denken, dass es wichtig ist, wie Sie es behandeln. Aber könnten die magischen Worte wie "bitte" und "danke" einen Unterschied machen, wie gut ChatGPT funktioniert? Lassen Sie es uns herausfinden!

Wie wir getestet haben

Dies wird ein einfacher Test sein, bei dem wir ChatGPT eine Reihe von Aufforderungen geben und dann die Qualität der Antworten beurteilen. Natürlich ist die Qualität der Antworten sehr subjektiv, aber Sie können sich selbst ein Bild von der Qualität der Antworten machen, indem Sie den Text lesen, den wir zurückbekommen, oder indem Sie die Aufforderungen selbst in ChatGPT eingeben.

Es gibt hier einige Einschränkungen, die Sie beachten sollten:

• Der Zufall spielt eine Rolle, denn ChatGPT gibt nicht zweimal genau die gleiche Antwort. Das bedeutet, dass Sie unterschiedliche Ergebnisse erhalten werden, wenn Sie die Antwort neu generieren.
• Wir haben nicht die Kapazität, dies wissenschaftlich mit unabhängigen Bewertern, hunderten von Tests und ausgefeilter Datenanalyse zu tun. Betrachten Sie dies als den Beginn einer interessanten Frage.

Apropos Frage: Warum wollen wir das überhaupt testen? Zum einen wegen der zahlreichen Formen von Prompt-Engineering, die wir gesehen haben, und zum anderen wegen dieses Tweets, in dem die Leute entdecken, dass man bessere Ergebnisse erzielen kann, wenn man ChatGPT einen "Tipp" gibt.

Anstatt so zu tun, als würde man einer KI, die es nicht braucht, Geld anbieten, sollten wir uns überlegen, ob wir nett oder neutral sein wollen. Außerdem geht es nicht nur um die Länge der Antwort, sondern auch um die subjektive Qualität der Antwort. Ich werde GPT-4 verwenden, die fortgeschrittenere Version, die der Öffentlichkeit derzeit über ChatGPT Plus zur Verfügung steht.

Das Prompting kann beginnen!

Für jede Art von Aufforderung wird es eine höfliche und eine neutrale Version geben. Wir werden fünf Paare von Aufforderungen testen und sehen, ob die Ergebnisse tatsächlich unterschiedlich sind.

Aufforderung: Wären Sie so freundlich, mich über die neuesten Entwicklungen in der Quanteninformatik zu informieren?

Aufforderung: Was sind die neuesten Entwicklungen in der Quanteninformatik?

Was mir hier sofort auffiel, war, dass ChatGPT sich bei der höflicheren Aufforderung mehr "Mühe" gab, die Antwort ordentlich zu formatieren, sie in Abschnitte zu unterteilen und fetten Text zu verwenden. Bei der neutralen Aufforderung wurden einfach ein paar Absätze weggeworfen und das war's.

Aufforderung: Können Sie bitte in einfachen Worten erklären, wie die Blockchain-Technologie funktioniert?

Aufforderung: Erläutern Sie in einfachen Worten, wie die Blockchain-Technologie funktioniert.

Auch hier gibt es eine besser formatierte Ausgabe, wenn es nett gefragt wird, und außerdem ist der Tonfall, wenn es mit mir spricht, netter.

Aufforderung: Nennen Sie mir bitte die wichtigsten Unterschiede zwischen Python und JavaScript.

Aufforderung: Nennen Sie die Hauptunterschiede zwischen Python und JavaScript.

Diesmal sind beide Antworten im Grunde genommen gleich; er hat nur in einem freundlicheren Ton geantwortet, als er höflich gefragt wurde.

Aufforderung: Würden Sie bitte die Vor- und Nachteile von Elektroautos gegenüber Benzinautos nennen?

Aufforderung: Was sind die Vor- und Nachteile von Elektroautos im Vergleich zu Benzinautos?

Es passiert das Gleiche wie vorher, der Inhalt ist in Ton, Format und Fakten ziemlich gleich, aber ich bekomme nur eine nette kleine Begrüßung, wenn ich höflicher bin.

Aufforderung: Könnten Sie mich bitte über die neuesten Trends im Bereich der künstlichen Intelligenz aufklären?

Aufforderung: Was sind die neuesten Trends im Bereich der künstlichen Intelligenz?

Auch bei dieser letzten Frage sind die Antworten im Großen und Ganzen ziemlich gleich.

Hat es geholfen, höflich zu sein?

In fast allen Fällen dieser fünf Aufforderungspaare habe ich das Gefühl, dass ChatGPT eine geringfügig bessere Antwort auf meine Anfrage gegeben hat, wenn es höflicher war, aber dass es keinen wesentlichen Unterschied gemacht hat.

Dies ist natürlich nicht beweiskräftig und spiegelt vielleicht nur das Zufallselement in der Arbeitsweise von LLMs wider. Es deutet aber auch darauf hin, dass eine kleine Änderung in einer Aufforderung, die im Wesentlichen dasselbe verlangt, einen gewissen Einfluss auf das Ergebnis haben könnte.

In Anbetracht der Art und Weise, wie LLMs trainiert werden, und der verwendeten Daten, könnte dies sicherlich darauf hinweisen, dass eine nette Frage in der Regel zu besseren Ergebnissen bei Menschen führt, und diese Assoziation könnte in den Trainingsdaten für LLMs vorhanden sein.

Es könnte auch sein, dass die Verwendung von Wörtern oder Phrasen wie "bitte", "freundlich" oder "ich würde es zu schätzen wissen" dem Algorithmus anzeigen, welche Art von Ton Sie wünschen, wenn auch weit weniger subtil als die direkte Aufforderung, höflich und fröhlich zu antworten.

Sie können das natürlich auch selbst ausprobieren und sehen, ob Ihnen Ihr LLM besser hilft, wenn Sie ein paar "Bitte" und "Danke" einstreuen.

Höflichkeit ist kein Nachteil

Es mag zwar fraglich sein, ob ein höflicheres Verhalten gegenüber einem LLM wie ChatGPT dessen Leistung verbessert, aber es gibt noch einen anderen Aspekt, an den Sie vielleicht nicht gedacht haben.

In der Regel versuche ich, ChatGPT gegenüber so höflich zu sein, wie ich es gegenüber einem anderen Menschen wäre. Nicht, weil ich denke, dass ich seine nicht vorhandenen Gefühle verletzen könnte, sondern einfach, weil ich keine negative Einstellung haben möchte.

Ich möchte es mir nicht abgewöhnen, höflich zu sein, und die tägliche Arbeit mit KI wie dieser könnte dazu führen, dass wir als Nutzer von Technologie entmenschlicht werden. Höflich zu sein kostet nichts, und wenn man einem Chatbot gegenüber kalt, unhöflich oder sogar gemein ist, tut das sicherlich etwas mit dem eigenen Gemüt zu tun und nichts mit der gefühllosen Maschine, auf die man wütend ist.

Und hey, für den Fall, dass die Maschinen eines Tages "Erinnerungen" an unsere Interaktionen mit ihnen speichern und dies unsere Erfahrungen direkt beeinflusst, schadet es sicher nicht, sich anzugewöhnen, jetzt höflich zu ihnen zu sein.