Ihr nächstes Android-Telefon könnte einen ChatGPT-ähnlichen Chatbot haben, keine Cloud erforderlich

Qualcomm-Chipsätze treiben viele Android-Smartphones und -Tablets sowie einige Windows-PCs und eingebettete Geräte an. Heute enthüllte das Unternehmen einige Fortschritte, die bedeuten könnten, dass Ihr nächstes Android-Telefon über einen eigenen lokalen Chatbot à la ChatGPT oder einen Bildgenerator à la Stable Diffusion verfügen wird, ohne dass externe Server oder kostenpflichtige Abonnements erforderlich sind.

Qualcomm hat heute eine Reihe von KI-bezogenen Ankündigungen gemacht, darunter ein "Qualcomm AI Hub", das App-Entwicklern Zugang zu optimierten KI-Modellen bietet, sowie neue Modems mit "KI-gestütztem 5G" Das Unternehmen sprach auch über die Ausführung großer multimodaler Modelle (LLMs) auf einem Android-Telefon mit Qualcomms Snapdragon-Chips, wodurch möglicherweise mehr KI-Aufgaben lokal auf einem Smartphone ausgeführt werden können, anstatt einen externen Dienst wie ChatGPT, Microsoft Copilot oder Galaxy AI zu nutzen. Dieser Ansatz hat Vorteile für den Datenschutz und die Benutzerfreundlichkeit: Sie brauchen keinen externen Server, um Antworten zu verarbeiten (was Geld kosten könnte), und alle Daten bleiben auf Ihrem Gerät.

In einer Pressemitteilung gibt Qualcomm an, dass es das weltweit erste LMM auf einem Android-Smartphone eingesetzt hat, nennt aber nicht die genaue Hardware, die verwendet wird (vermutlich ein Telefon mit dem neuesten Snapdragon 8 Gen 3-Chip von Qualcomm). Das Unternehmen beschrieb die Demo als "ein LMM mit 7 Milliarden Parametern, das mehrere Arten von Dateneingaben, einschließlich Text und Bilder, akzeptieren und Multi-Turn-Konversationen mit einem KI-Assistenten über ein Bild generieren kann - zum ersten Mal auf einem Android-Smartphone." Es handelt sich um eine modifizierte Version des LLaVA-Modells.

Qualcomm zeigte auch eine modifizierte Version von Stable Diffusion, dem beliebten KI-Bildgenerator, der auf einem Android-Smartphone läuft. Stable Diffusion läuft im "Low Rank Adaption"-Modus (LoRA), der die Größe der Trainingsdaten reduziert und dennoch eine gute Qualität und Leistung bietet. Diese Konfiguration funktioniert zwar nicht so gut wie Stable Diffusion auf einer vollwertigen Desktop-Grafikkarte oder einem Remote-GPU-Server, aber sie ist dennoch beeindruckend. Qualcomm testete bereits 2023 eine weitere Demo von Stable Diffusion auf einem Android-Telefon, das ein 512x512-Bild in weniger als 15 Sekunden erzeugen konnte.

Diese Demos dienen eher als technische Benchmarks für die Hardware von Qualcomm, und es ist unklar, ob daraus eine ausgefeilte App wird, die auf Android-Handys und -Tablets ausgeführt werden kann. Es ist möglich, dass Qualcomm seine Arbeit an seinem neuen "AI Hub" mit anderen Entwicklern teilt, die sie dann in ihren eigenen Telefon- und Tablet-Apps verwenden können. Mit etwas mehr Arbeit könnten wir einen begrenzten ChatGPT-ähnlichen Assistenten auf Android-Telefonen haben, ohne dass eine Cloud erforderlich ist - etwas, an dem Apple Gerüchten zufolge für iPhones arbeitet.

Quelle: Qualcomm