NVIDIAs On-Device AI Chatbot unterstützt jetzt Google Gemma und ChatGLM3

Das dritte Update für die ChatRTX-App von NVIDIA ist da. Es fügt neue Bilderkennungsfunktionen, Spracheingabefunktionen und eine erweiterte Auswahl an Open-Source-LLMs hinzu.

NVIDIA ChatRTX, zuvor"Chat with RTX" genannt, ist ein personalisierbarer KI-Chatbot, der lokal auf Windows-PCs laufen kann. Er fungiert als eine Art persönlicher Assistent und beantwortet Fragen zu Dokumenten, Notizen und anderen Dateien auf Ihrem Computer ohne jegliche Cloud-Interaktion. Er kann auch YouTube-Videos zusammenfassen, was nützlich sein kann, wenn man ein Rezept oder eine Anleitung durchgehen möchte, ohne jemandem 15 Minuten lang beim Reden zuzuhören (seit dem Sicherheitspatch 0.2 ist das Scannen von YouTube allerdings nicht mehr möglich)

Eine der interessanten Dinge an ChatRTX ist seine Fähigkeit, eine Vielzahl von LLMs auszuführen. ChatRTX startete mit Unterstützung für Mistral und Llama 2, unterstützt jetzt aber auch Google Gemma (ein leichtgewichtiger Ableger von Gemini) und ChatGLM3 (ein englischer und chinesischer LLM, der auf dem GLM Framework basiert). Jeder dieser LLMs ist für bestimmte Aufgaben geeignet, daher die Notwendigkeit der Vielfalt.

Die neue ChatRTX-Version bietet außerdem die Integration von Whisper und Open AI CLIP. Während Whisper eine AI-basierte Spracherkennung für die Spracheingabe hinzufügt, erweitert CLIP die Bilderkennungsfähigkeiten von ChatRTX. Ein Fotograf kann ChatRTX zum Beispiel nutzen, um einen Haufen unbeschrifteter Bilder zu finden und zu organisieren.

Um es klar zu sagen: ChatRTX ist immer noch eine "Tech-Demo" Es ist ein Beispiel dafür, was Entwickler mit dem Open-Source-Referenzprojekt TensorRT-LLM RAG bauen können, und es ist etwas, das dem durchschnittlichen Computerbenutzer helfen kann, mit LLMs vertrauter zu werden.

Und ich sollte anmerken, dass keiner dieser ChatRTX-kompatiblen LLMs tatsächlich ChatRTX benötigt. Der Vorteil von ChatRTX ist, dass es keine Fachkenntnisse erfordert und es Ihnen ermöglicht, einen personalisierten lokalen Chatbot ohne allzu viel Arbeit zu trainieren. Ich hoffe zwar, dass ChatRTX zu einem echten Produkt heranwächst, aber das muss es nicht, denn es wird Entwickler dazu inspirieren, noch bessere KI-Anwendungen zu entwickeln.

Sie können ChatRTXtodaykostenlos von der NVIDIA-Website installieren. ChatRTX erfordert jedoch eine RTX 30- oder 40-Serien-GPU mit mindestens 8 GB VRAM (ja, einige Laptops erfüllen diese Spezifikationen). Außerdem brauchen Sie genug Geduld, um den 30 GB großen Download durchzustehen - ChatRTX ist eine relativ große Anwendung.

Quelle: NVIDIA