NVIDIA, une entreprise américaine de fabrication de matériel informatique, a annoncé mardi 12 février avoir lancé une fonctionnalité appelée « Chat avec RTX ».
Cet outil permet aux utilisateurs de personnaliser un chatbot avec leur contenu hors ligne sur leur PC.
Actuellement, Chat avec RTX est disponible gratuitement pour download. Cependant, la configuration système requise pour exécuter Chat avec RTX inclut :
- Plate-forme: Windows
- GPU: GPU NVIDIA GeForce RTX 30 ou 40 Series ou GPU NVIDIA RTX Ampere ou Ada Generation avec au moins 8 Go de VRAM
- RAM: 16 Go ou plus
- OS: Windows 11
- Driver: 535.11 ou plus tard
Chat avec RTX utilise la génération augmentée par récupération (RAG), NVIDIA TensorRT-LLM software, et l'accélération NVIDIA RTX pour apporter des capacités d'IA générative aux PC Windows locaux équipés de GeForce.
NVIDIA TensorRT-LLM est une bibliothèque open source qui accélère et optimise les performances d'inférence des derniers grands modèles de langage (LLM). Il prend désormais en charge davantage de modèles pré-optimisés pour les PC.
Selon la société, les développeurs peuvent utiliser le projet de référence pour développer et déployer leurs applications basées sur RAG pour RTX, accélérées par TensorRT-LLM.
Voici comment cela fonctionne:
Se connecte facilement aux fichiers locaux
Les utilisateurs peuvent connecter rapidement et facilement des fichiers locaux sur un PC sous forme d'ensemble de données à un grand modèle de langage open source comme Mistral ou Llama 2, permettant ainsi des requêtes pour des réponses rapides et contextuellement pertinentes.
NVIDIA indique que plutôt que de rechercher dans des notes ou du contenu enregistré, les utilisateurs peuvent simplement saisir des requêtes.
Par exemple, on pourrait demander : « Quel est le restaurant recommandé par mon partenaire à Las Vegas ? Discuter avec RTX analysera les fichiers locaux vers lesquels l'utilisateur le pointe et fournira la réponse contextuelle.
L'outil prend en charge différents formats de fichiers, notamment .txt, .pdf, .doc/.docx et .xml. Pointez l'application vers le dossier contenant ces fichiers et l'outil les chargera dans sa bibliothèque en quelques secondes seulement.
De plus, les utilisateurs peuvent fournir l'URL d'une playlist YouTube et l'application chargera les transcriptions des vidéos dans la playlist, permettant aux utilisateurs d'interroger le contenu qu'elles couvrent.
Par exemple, demandez travel des recommandations basées sur le contenu des vidéos d'influenceurs préférées, ou obtenez des didacticiels rapides et des procédures basées sur les meilleures ressources pédagogiques.
Plutôt que de s'appuyer sur des services LLM basés sur le cloud, Chat with RTX permet aux utilisateurs de traiter des données sensibles sur un PC local sans avoir besoin de les partager avec un tiers ou de disposer d'une connexion Internet.
Cette annonce intervient un mois après que NVIDIA a lancé les GPU de bureau GeForce RTX SUPER pour des performances d'IA générative suralimentées, de nouveaux ordinateurs portables IA et le nouveau NVIDIA RTX, une IA accélérée. software et des outils pour les développeurs et les consommateurs.