Der neue KI-Chatbot von NVIDIA verlässt sich auf lokale Dateien, nicht auf die Cloud

Wer über kompatible Hardware verfügt, kann jetzt Chat With RTX installieren, einen KI-Chatbot, der lokale Dateien zu seinem Datensatz macht. Die Chat With RTX-Anwendung gilt als "Tech-Demo", aber sie ist effektiv beim Abrufen, Zusammenfassen und Synthetisieren von Informationen aus textbasierten Dateien.

Im Kern ist Chat With RTX ein persönlicher Assistent, der Ihre Dokumente und Notizen durchforstet. Es erspart Ihnen die Mühe, Dateien, die Sie geschrieben, heruntergeladen oder von anderen erhalten haben, manuell zu durchsuchen. Sie könnten Chat With RTX bitten, eine Information aus einem langen technischen Dokument abzurufen, aber Sie können es auch verwenden, um beiläufige Fragen zu beantworten, wie z. B. "Welches Restaurant hat mein Partner in Las Vegas empfohlen?".

Das personalisierte LLM kann auch Transkripte von YouTube-Videos abrufen. Wenn Sie eine Schritt-für-Schritt-Anleitung für ein Holzbearbeitungsprojekt ausdrucken möchten, suchen Sie einfach ein YouTube-Tutorial, kopieren die URL und fügen sie in Chat With RTX ein. Dies funktioniert mit einzelnen YouTube-Videos und Wiedergabelisten.

Da Chat With RTX lokal ausgeführt wird, liefert es schnelle Ergebnisse, ohne Ihre persönlichen Daten in die Cloud zu senden. Der LLM scannt nur Dateien oder Ordner, die vom Benutzer ausgewählt wurden. Ich sollte anmerken, dass andere LLMs, einschließlich derer von HuggingFace und OpenAI, lokal ausgeführt werden können. Chat With RTX ist aus zwei Gründen bemerkenswert: Es erfordert keine Fachkenntnisse und zeigt die Fähigkeiten von NVIDIAs Open-Source TensorRT-LLM RAG, mit der Entwickler ihre eigenen KI-Anwendungen erstellen können.

Wir haben Chat With RTX auf der CES 2024 ausprobiert. Es handelt sich sicherlich um eine "Tech-Demo", und sie muss mit Bedacht eingesetzt werden. Aber es ist trotzdem beeindruckend. Selbst wenn Sie nicht an den Fähigkeiten von Chat With RTX zur Informationsbeschaffung oder Dokumentenzusammenfassung interessiert sind, ist dies ein großartiges Beispiel dafür, wie sich lokal betriebene LLMs in die Arbeitsabläufe der Menschen einschleichen können.

Und, obwohl es auf der NVIDIA-Website nicht erwähnt wird, kann Chat With RTX interessante Antworten auf kreative Aufforderungen geben. Wir haben den LLM gebeten, eine Geschichte zu schreiben, die auf den Transkripten einer YouTube-Wiedergabeliste basiert, und er hat sie erfüllt, wenn auch in einem sachlichen Ton. Ich bin gespannt, wie die Leute mit dieser Anwendung experimentieren werden.

Sie können Chat With RTX von der NVIDIA-Website installieren. Beachten Sie, dass diese Anwendung eine RTX-GPU der 30er oder 40er Serie mit mindestens 8 GB VRAM erfordert. NVIDIA bietet auch ein TensorRT-LLM RAG Open-Source-Referenzprojekt für diejenigen an, die ähnliche Anwendungen wie Chat with RTX entwickeln möchten.

Quelle: NVIDIA