Was ist ein LLM? Wie AI Konversationen führt

Obwohl KI-Chatbots wie ChatGPT inzwischen unglaublich beliebt sind, verstehen viele von uns immer noch nicht, wie sie funktionieren. Diese Chatbots werden von LLMs angetrieben, und genau diese Technologie birgt ein großes Potenzial für die Zukunft. Was also ist ein LLM, und wie ermöglicht es der KI, Gespräche mit Menschen zu führen?

Was ist ein LLM?

Der Begriff "LLM" ist die Abkürzung für Large Language Model (Großes Sprachmodell). Ein großes Sprachmodell bildet den Rahmen für KI-Chatbots wie ChatGPT und Google Bard und ermöglicht es ihnen, Anfragen zu verarbeiten und Antworten zu geben.

Das Konzept der konversationellen Computer gab es schon lange, bevor das erste Beispiel für diese Technologie in die Praxis umgesetzt wurde. Bereits in den 1930er Jahren tauchte die Idee eines Gesprächscomputers auf, blieb aber rein theoretisch. Jahrzehnte später, im Jahr 1967, wurde der erste Chatbot der Welt, ELIZA, entwickelt. ELIZA wurde von Joseph Weizenbaum vom MIT entwickelt und war ein textbasiertes Programm, das sich einer Taktik bediente, die als "Pattern Matching" bekannt ist, um mit den Nutzern zu sprechen, und einen Bestand an Konversationsskripten nutzte, aus denen es Antworten abrufen konnte.

Das New Jersey Institute of Technology stellt auch heute noch eine webbasierte Version von ELIZA zur Verfügung, mit der man interagieren kann.

Wie Sie sehen können, ist ELIZA nicht besonders gut darin, Sprache zu interpretieren und nützliche Informationen zu liefern. Aber als Erfindung der 1960er Jahre war dieser Chatbot bahnbrechend, da er auf Aufforderungen relativ menschlich reagieren konnte und gleichzeitig in der Lage war, ein Gespräch fortzusetzen. Oben haben wir ELIZA gesagt, dass wir traurig sind, und er konnte uns auffordern, mehr zu erzählen, und uns fragen, wie lange wir uns schon so fühlen.

Obwohl ELIZA eine innovative Erfindung war, war es kein LLM. Tatsächlich dauerte es weitere 47 Jahre, bis eine Technologie entwickelt wurde, die den heutigen LLMs nahe kommt.

Im Jahr 2013 wurde ein Algorithmus mit dem Namen word2vec zum jüngsten Vorläufer des LLM. Word2vec ist ein Algorithmus für die Verarbeitung natürlicher Sprache (NLP), der ein Wort in ein Zahlenfeld, einen sogenannten Vektor, umwandelt. Dies mag oberflächlich betrachtet einfach erscheinen, aber das Erstaunliche an word2vec ist, dass es nach der Vektorisierung semantische Verbindungen zwischen verschiedenen Wörtern herstellen kann. Diese Fähigkeit, Assoziationen zwischen Wörtern herzustellen, war ein großer Schritt in Richtung moderner LLMs.

Obwohl viele OpenAI und seinen Chatbot ChatGPT mit der Entwicklung von LLMs in Verbindung bringen, ist dies nicht der Fall. Der erste LLM-Durchbruch wurde von Google im Jahr 2017 mit seinen Bidirectional Encoder Representations from Transformers (BERT) erzielt. BERT wurde entwickelt, um den Algorithmus der Google-Suchmaschine zu verbessern, damit die Suchanfragen der Nutzer besser interpretiert werden können und somit bessere Suchergebnisse geliefert werden.

Vor der Veröffentlichung von BERT schrieben und veröffentlichten mehrere Google-Forscher ein Papier mit dem Titel Attention Is All You Need. Dieses Papier war die Grundlage für die Transformatoren, da es diese Technologie der Welt vorstellte. Auf die Funktionsweise von Transformatoren werden wir später noch näher eingehen.

Im Jahr 2022 erreichten LLMs den Mainstream, als KI-Chatbots wie ChatGPT, Claude und Google Bard in aller Munde waren. Die Veröffentlichung von ChatGPT-3.5 von OpenAI war der Katalysator für diesen neuen Trend, da der Chatbot ein sehr beeindruckendes KI-Tool für Konversationen bot, das menschliche Sprache sehr effektiv verarbeiten konnte. Seitdem sind LLMs zu einem heißen Gesprächsthema geworden, und jede Woche werden weitere LLM-basierte Tools veröffentlicht.

Was steckt also hinter dieser beeindruckenden Technologie?

Wie funktionieren LLMs?

Ein entscheidendes Element, das viele der beliebten LLMs benötigen, ist die Vorschulung. Bevor ein LLM mit der Verarbeitung von Sprache beginnen kann, muss er mit einer großen Menge an Daten und einer Reihe von Parametern trainiert werden.

Nehmen wir zum Beispiel GPT-3.5 von OpenAI. Dieses LLM wurde auf alle Arten von textbasierten Daten trainiert, darunter Bücher, Artikel, akademische Zeitschriften, Webseiten, Online-Posts und mehr. Darüber hinaus werden Milliarden von Variablen, so genannte "Parameter", festgelegt, die bestimmen, wie GPT-3.5 Text produziert und auf Aufforderungen reagiert. Das Training von GPT-3.5 umfasste auch zwei weitere Aspekte, die als "Verstärkung" und "Vorhersage des nächsten Wortes" bekannt sind

Andere Arten von LLMs durchlaufen jedoch einen anderen Vorbereitungsprozess, z. B. multimodale und Feinabstimmung. DALL-E von OpenAI zum Beispiel wird verwendet, um Bilder auf der Grundlage von Aufforderungen zu generieren, und verwendet einen multimodalen Ansatz, um eine textbasierte Antwort anzunehmen und im Gegenzug ein pixelbasiertes Bild zu liefern (d. h. eine Form von Eingabemedien wird in eine andere Form von Ausgabemedien umgewandelt).

Der BERT von Google hingegen durchläuft einen vorbereitenden Prozess, der als Feinabstimmung bezeichnet wird und sich weniger auf die Erstellung von Antworten in natürlicher Sprache als vielmehr auf die Beantwortung spezifischerer Aufgaben wie Textklassifizierung und Beantwortung von Fragen konzentriert (wodurch die Qualität der Suchergebnisse verbessert wird).

LLMs stützen sich auch auf ein neuronales Netz, um zu funktionieren, und der am häufigsten verwendete Typ ist als Transformator bekannt. Nachfolgend finden Sie ein grundlegendes Diagramm, das den Prozess eines Transformers darstellt, aber wir werden uns mit mehr Details befassen, um die Funktionsweise besser zu verstehen.

Neuronale Netze spielen eine entscheidende Rolle, wenn es darum geht, vorherzusagen, welche Wörter als nächstes kommen und welche Bedeutung und welchen Kontext die einzelnen Wörter in einem bestimmten Satz haben. Innerhalb des Transformer-Modells gibt es eine Encoder- und eine Decoder-Stufe, die jeweils aus mehreren Schichten bestehen. Zunächst erreichen die textbasierten Daten den Kodierer und werden dann in Zahlen umgewandelt.

Diese einzelnen numerischen Einheiten werden auch als Token bezeichnet, weshalb man im Zusammenhang mit KI-Chatbots auch den Begriff "Token-Limit" hört.

Diese Token werden dann vom Transformator kategorisiert, wobei eine Karte der Bedeutung jedes Tokens und der Beziehung zwischen den einzelnen Token erstellt wird. Kurz gesagt, der Transformator verwendet die von ihm erstellte numerische Karte, um den Kontext der Daten zu verstehen und um zu erkennen, wie ein Token mit einem anderen verbunden ist. Dieser Prozess wird auch als Selbstaufmerksamkeit des Transformators oder als Mehrkopfaufmerksamkeit bezeichnet.

Bei der Selbstaufmerksamkeit führt der Transformator mehrere Berechnungen auf einmal durch und vergleicht dabei verschiedene Eingabemarken miteinander. Daraus wird für jedes Token bzw. Wort ein Aufmerksamkeitswert berechnet. Je mehr Aufmerksamkeit ein Wort erhält, desto stärker wird es bei der Erstellung einer Ausgabe (oder Antwort) berücksichtigt.

Nun ist es an der Zeit, die numerischen Daten in eine textbasierte Antwort zu dekodieren. Bei diesem Prozess werden die kodierten Eingabe-Token in textbasierte Ausgabe-Token umgewandelt, die die Antwort des LLM auf eine Aufforderung bilden.

Ohne den Transformator könnten der Kontext, die Nuancen und die Beziehung zwischen den Wörtern nicht bestimmt werden, was das LLM praktisch nutzlos machen würde, da seine Antworten ineffektiv oder sogar unsinnig wären.

Wo werden LLMs verwendet?

Heute gibt es einige wichtige LLMs, darunter Claude, LaMDA, LLaMA, Cohere, GPT-3.5 und GPT-4. Viele dieser LLMs wurden von bekannten Tech-Giganten wie Google und Meta entwickelt, andere wiederum sind das Produkt von KI-orientierten Unternehmen wie OpenAI und Anthropic.

Die bekanntesten Beispiele für LLMs in Aktion sind KI-Chatbots, wie Bard, ChatGPT, Claude und Bing Chat. Diese raffinierten Tools begannen Ende 2022, nachdem OpenAI GPT-3.5 veröffentlicht hatte, an Popularität zu gewinnen. Seitdem hat sich der Anwendungsbereich von LLMs stark erweitert, aber KI-Chatbots sind nach wie vor sehr beliebt.

Das liegt daran, dass KI-Chatbots den Nutzern eine Vielzahl von Diensten anbieten können. Sie können diese Tools bitten, Fakten zu liefern, Texte zu übersetzen, Ideen zu entwickeln, Witze zu erzählen, Gedichte und Lieder zu schreiben und vieles mehr. Die Vielseitigkeit von KI-Chatbots macht sie in allen Lebensbereichen nützlich, und die Unternehmen arbeiten ständig an der Verbesserung ihrer KI-Chatbots, um ein noch besseres Erlebnis zu schaffen.

Aber es bleibt nicht bei den KI-Chatbots. Einige sehr bekannte LLMs werden auch außerhalb von Chatbot-Umgebungen eingesetzt. So wird beispielsweise der BERT von Google zur Verbesserung der Qualität von Suchmaschinenergebnissen verwendet und war bereits Jahre vor der Einführung von Chatbot-basierten LLMs im Einsatz.

In Anbetracht der Tatsache, dass die LLM-Technologie noch sehr neu ist, gibt es auch viele potenzielle künftige Anwendungsmöglichkeiten. LLMs können sich in der Gesundheitsbranche als nützlich erweisen, insbesondere bei Forschungsanalysen, Simulationen von Patientenszenarien, Entlassungsberichten und medizinischen Abfragen. Die neuesten Iterationen von LLMs haben jedoch immer noch mit faktischen Ungenauigkeiten, begrenzten Trainingsdaten und KI-Halluzinationen zu kämpfen, so dass sie sich möglicherweise noch nicht für den medizinischen Einsatz eignen.

LLMs sind eine aufregende neue Technologie

LLMs stecken noch in den Kinderschuhen, da sie erst 2017 offiziell erfunden wurden. Aber das Potenzial dieser Sprachverarbeitungsmethode ist wirklich erstaunlich, denn LLM-basierte Tools bieten bereits Fähigkeiten, die früher für Computer unmöglich waren. In naher Zukunft könnten LLMs sogar noch weiter voranschreiten, da immer mehr Branchen die Technologie übernehmen werden.