Führen Sie Ihren eigenen AI Chatbot zu Hause mit NVIDIA Chat mit RTX

NVIDIAs Chat mit RTX ist ChatGPT sehr ähnlich, nur dass es lokal auf Ihrem eigenen PC läuft und keine Internetverbindung benötigt. Er ist schnell und effizient und kann sogar aus von Ihnen bereitgestellten Dokumenten oder YouTube-Videos lernen. Hier erfahren Sie, wie Sie es auf Ihrem PC zum Laufen bringen.

Was brauchen Sie, um NVIDIAs Chat mit RTX auszuführen?

Die meisten modernen Gaming-Computer sind in der Lage, NVIDIAs Chat mit RTX auszuführen. Konkret benötigen Sie:

• Eine RTX-Grafikkarte der 30er oder 40er Serie (NVIDIA) mit mindestens 8 GB RAM
• Etwa 50 Gigabyte freien Speicherplatz
• 16 GB System-RAM
• Einen PC mit Windows 10 oder Windows 11

Der Chat mit RTX basiert auf TensorRTX-LLM, das nur von Grafikkarten der 30er Serie oder neuer unterstützt wird. Das bedeutet, dass Ihre GPUs der 10er und 20er Serie - obwohl sie immer noch für viele Dinge geeignet sind - nicht unterstützt werden und es wahrscheinlich auch nie werden.

So installieren Sie Chat mit RTX

Laden Sie zunächst die Chat with RTX-Dateien von der NVIDIA-Website herunter, indem Sie oben auf die große Schaltfläche "Jetzt herunterladen" klicken. Die Dateien sind etwa 35 Gigabyte groß, also stellen Sie sich darauf ein, dass es eine Weile dauern kann.

Die Dateien werden gezippt geliefert, und Sie sollten sie entpacken, bevor Sie versuchen, die Anwendung zu installieren. Wenn Sie ein Archivierungsprogramm eines Drittanbieters wie 7Zip oder WinRAR verwenden, können Sie einfach mit der rechten Maustaste auf die ZIP-Datei klicken und "Hier extrahieren" wählen Wenn Sie den Datei-Explorer verwenden, doppelklicken Sie auf die ZIP-Datei, kopieren Sie den Ordner "ChatWithRTX_Offline_2_11_mistral_Llama" und fügen Sie ihn in Ihren Download-Ordner (oder an einen anderen Ort Ihrer Wahl) ein.

Auch hier sollten Sie sich darauf einstellen, dass dieser Vorgang eine Weile dauern kann - das Entpacken von 35 Gigabyte wird einige Zeit in Anspruch nehmen, insbesondere wenn die Datei auf einer mechanischen Festplatte und nicht auf einer SSD gespeichert ist.

Sobald der Vorgang abgeschlossen ist, öffnen Sie "ChatWithRTX_Offline_2_11_mistral_Llama" und doppelklicken Sie auf "Setup.exe" Es gibt nicht viele Optionen, die Sie im Installationsprogramm auswählen können. Die einzige, die Sie beachten müssen, ist der Installationsort. Chat mit RTX benötigt nach der Installation etwa 50 GB, also achten Sie darauf, dass Sie ein Laufwerk mit genügend freiem Speicherplatz wählen.

Auch hier gilt: Erwarten Sie keine superschnelle Installation. Es muss zusätzliche Python-Assets herunterladen, bevor es ausgeführt werden kann, und diese sind jeweils ein paar Gigabyte groß. Wenn es fertig ist, sollte es automatisch Ihren Browser öffnen und eine Benutzeroberfläche anzeigen.

Wenn es sich nicht automatisch öffnet, überprüfen Sie das Terminalfenster (oder die Eingabeaufforderung) und suchen Sie nach der Zeile "Running on Local URL" Notieren Sie die IP-Adresse und den Port und geben Sie diese in die Adressleiste Ihres Browsers ein. Die IP-Adresse ist immer 127.0.0.1 (die Loopback-Adresse), aber der Port ändert sich jedes Mal, wenn Sie Chat mit RTX starten.

Sobald Chat with RTX in Ihrem Browser geöffnet ist, können Sie mit ihm wie mit jedem anderen KI-Chatbot sprechen. Er kann grundlegende Fragen beantworten, Rechenversuche machen und sogar Witze erzählen - und das auch noch sehr schnell. Er ist deutlich schneller als andere lokal ausgeführte Chatbots, die wir in der Vergangenheit getestet haben. Das liegt zweifellos daran, dass er die Tensor-Kerne der NVIDIA RTX-GPUs nutzen kann.

Die wirklich spannende Funktion ist jedoch seine Fähigkeit, Antworten auf der Grundlage von Dateien oder Videos zu geben, die Sie zur Verfügung stellen.

Lassen Sie Chat with RTX aus Ihren Dateien oder YouTube lernen

Mit Chat with RTX können Sie dem Programm eine Datei oder ein YouTube-Video zur Verfügung stellen, aus denen es lernen" und Antworten generieren kann. Um eine Datei oder ein Video anzugeben, klicken Sie auf das Dropdown-Menü unter "Datensatz" und wählen dann entweder "Ordnerpfad" oder "YouTube URL"

Wählen Sie "Ordnerpfad", wenn Sie möchten, dass Chat with RTX eine Textdatei oder ein PDF-Dokument von Ihrem PC einliest, und wählen Sie "YouTube URL", wenn Sie die Transkripte aus einem YouTube-Video oder einer Wiedergabeliste verwenden möchten.

Denken Sie daran, dass versucht wird, jede Textdatei in dem von Ihnen angegebenen Ordner zu verwenden. Es ist daher am besten, einen neuen Ordner zu erstellen, der nur die Dateien enthält, die Sie einlesen möchten.

Die Verarbeitung des neuen Datensatzes wird einige Zeit in Anspruch nehmen, und je mehr Daten Sie bereitstellen, desto länger wird es dauern. Ich habe Chat mit RTX auf einer NVIDIA 3060 12GB GPU getestet und festgestellt, dass ein durchschnittlicher Roman in weniger als einer Minute fertig ist. Neuere und leistungsfähigere GPUs sind schneller. Sie können im Terminal-Fenster (unter Windows 10 möglicherweise auch in der Eingabeaufforderung) nachsehen, wie weit der Prozess fortgeschritten ist.

Aber nur weil Sie es mit allen 70 Gigabyte des Project Gutenberg füttern können, um es in ein literarisches Genie zu verwandeln, heißt das nicht, dass Sie das auch tun sollten - ich rate sogar davon ab. Der Chat mit RTX funktioniert am besten, wenn Sie nicht mehrere Quellen mischen und wenn diese Quellen eher klein sind.

Chat mit RTX führt zu Halluzinationen

Chat mit RTX hat, unabhängig davon, welches Modell Sie verwenden, das gleiche Problem wie alle KI-Chatbots: Er halluziniert. Wenn er etwas nicht weiß, wird er in der Regel trotzdem selbstbewusst eine Antwort verkünden.

Auf die Frage "Wer ist John Wayne?" hat Chat with RTX mir fröhlich verraten, wann er geboren wurde und wann er starb, für welches Genre er bekannt war und welche Rollen er in "The Duke of Hazzard", "True Grit" und "Read Dead Outlaw" spielte

Natürlich hat John Wayne nicht in "The Dukes of Hazzard" mitgespielt, und soweit ich das beurteilen kann, ist "Red Dead Outlaw" nicht einmal ein Film - obwohl es sich nach der Art von Film anhört, in dem John Wayne die Hauptrolle spielen würde.

Der Chat mit RTX scheint weniger zu Halluzinationen zu neigen, wenn es etwas über eine Datei oder ein YouTube-Video nicht weiß, das Sie ihm gegeben haben. Oft sagt es ganz offen, dass die von Ihnen angegebene Quelle nicht die Informationen enthält, nach denen Sie gefragt haben.

Manchmal stimmt das aber auch nicht. Dies wird noch deutlicher, wenn Sie mehr als eine Datei auf einmal bereitstellen. Ich habe "Frankenstein" und "Der Rabe" aus dem Projekt Gutenberg entnommen und mit RTX in den Chat eingegeben und dann gefragt, warum Dr. Frankenstein dem Monster befahl, den Raben zu essen. Es sagte mir korrekt, dass Dr. Frankenstein dem Monster nicht befohlen hatte, den Raben zu töten, behauptete dann aber, dass Dr. Frankenstein versuchte, seine Gedanken mit der Botschaft des Vogels zu verbinden.

Das Problem ist, dass Dr. Frankenstein und der Rabe in völlig unterschiedlichen Geschichten vorkommen - Chat mit RTX hat einfach die Elemente der Geschichten vermischt und angepasst, um eine kohärent klingende Antwort zu erhalten.

Diese Probleme treten nicht nur bei Chat mit RTX auf, auch nicht bei den verwendeten Modellen Mistral 7B oder Llama 13B. Je schneller die Hardware für Verbraucher wird und je besser die Modelle optimiert werden, desto zuverlässiger wird die Technologie. Bis dahin kann der Chat mit RTX eine interessante und hilfreiche Möglichkeit sein, mit Dokumenten zu interagieren, wenn man die Dinge einfach hält und sie nicht mit Informationen überfrachtet. Seien Sie jedoch skeptisch bei allem, was er Ihnen sagt.