NVIDIA, ein amerikanischer Hersteller von Computerhardware, gab am Dienstag, dem 12. Februar, bekannt, dass es eine Funktion namens „Chat with RTX“ eingeführt hat.
Mit diesem Tool können Benutzer einen Chatbot mit ihren Inhalten personalisieren, während sie offline auf ihrem PC sind.
Derzeit ist „Chat with RTX“ kostenlos verfügbar download. Zu den Systemanforderungen für die Ausführung von Chat mit RTX gehören jedoch:
- Plattform: Windows
- GPU: NVIDIA GeForce RTX 30- oder 40-Serie-GPU oder NVIDIA RTX Ampere- oder Ada-Generation-GPU mit mindestens 8 GB VRAM
- RAM: 16 GB oder mehr
- OS: Windows 11
- Treiber: 535.11 oder höher
Chat mit RTX nutzt NVIDIA TensorRT-LLM (Retrieval-Augmented Generation, RAG). softwareund NVIDIA RTX-Beschleunigung, um generative KI-Funktionen auf lokale GeForce-basierte Windows-PCs zu bringen.
NVIDIA TensorRT-LLM ist eine Open-Source-Bibliothek, die die Inferenzleistung der neuesten großen Sprachmodelle (LLMs) beschleunigt und optimiert. Es unterstützt jetzt mehr voroptimierte Modelle für PCs.
Nach Angaben des Unternehmens können Entwickler das Referenzprojekt nutzen, um ihre RAG-basierten Anwendungen für RTX zu entwickeln und bereitzustellen, beschleunigt durch TensorRT-LLM.
Hier ist, wie es funktioniert:
Einfache Verbindung zu lokalen Dateien
Benutzer können lokale Dateien auf einem PC schnell und einfach als Datensatz mit einem großen Open-Source-Sprachmodell wie Mistral oder Llama 2 verbinden und so Abfragen für schnelle, kontextrelevante Antworten ermöglichen.
Laut NVIDIA können Benutzer, anstatt Notizen oder gespeicherte Inhalte zu durchsuchen, einfach Abfragen eingeben.
Man könnte zum Beispiel fragen: „Welches Restaurant hat mein Partner in Las Vegas empfohlen?“ Chat mit RTX scannt lokale Dateien, auf die der Benutzer verweist, und stellt die Antwort mit Kontext bereit.
Das Tool unterstützt verschiedene Dateiformate, darunter .txt, .pdf, .doc/.docx und .xml. Richten Sie die Anwendung auf den Ordner, der diese Dateien enthält, und das Tool lädt sie in wenigen Sekunden in seine Bibliothek.
Darüber hinaus können Benutzer die URL einer YouTube-Playlist angeben, und die App lädt die Transkriptionen der Videos in der Playlist, sodass Benutzer die von ihnen abgedeckten Inhalte abfragen können.
Fragen Sie zum Beispiel nach travel Empfehlungen basierend auf Inhalten aus beliebten Influencer-Videos oder erhalten Sie schnelle Tutorials und Anleitungen basierend auf erstklassigen Bildungsressourcen.
Anstatt sich auf cloudbasierte LLM-Dienste zu verlassen, können Benutzer mit Chat with RTX vertrauliche Daten auf einem lokalen PC verarbeiten, ohne sie an Dritte weitergeben oder über eine Internetverbindung verfügen zu müssen.
Die Ankündigung erfolgt einen Monat, nachdem NVIDIA GeForce RTX SUPER-Desktop-GPUs für überragende generative KI-Leistung, neue KI-Laptops und die neue NVIDIA RTX, eine beschleunigte KI, auf den Markt gebracht hat software und Tools für Entwickler und Verbraucher.