NVIDIA, een Amerikaans bedrijf voor de productie van computerhardware, heeft op dinsdag 12 februari aangekondigd dat het een functie heeft gelanceerd met de naam ‘Chat with RTX’.
Met deze tool kunnen gebruikers een chatbot personaliseren met hun inhoud terwijl ze offline op hun pc zijn.
Momenteel is Chat met RTX gratis beschikbaar voor download. De systeemvereisten om Chat met RTX uit te voeren zijn echter onder meer:
- Platform: Dakramen en raamkozijnen
- GPU: NVIDIA GeForce RTX 30- of 40-serie GPU of NVIDIA RTX Ampere of Ada Generation GPU met minimaal 8 GB VRAM
- RAM: 16 GB of meer
- OS: Windows 11
- Speaker: 535.11 of hoger
Chatten met RTX maakt gebruik van Retrieval-Augmented Generation (RAG), NVIDIA TensorRT-LLM softwareen NVIDIA RTX-versnelling om generatieve AI-mogelijkheden naar lokale GeForce-aangedreven Windows-pc's te brengen.
NVIDIA TensorRT-LLM is een open-sourcebibliotheek die de inferentieprestaties van de nieuwste grote taalmodellen (LLM's) versnelt en optimaliseert. Het ondersteunt nu meer vooraf geoptimaliseerde modellen voor pc's.
Volgens het bedrijf kunnen ontwikkelaars het referentieproject gebruiken om hun RAG-gebaseerde applicaties voor RTX te ontwikkelen en in te zetten, versneld door TensorRT-LLM.
Hier is hoe het werkt:
Maakt eenvoudig verbinding met lokale bestanden
Gebruikers kunnen lokale bestanden op een pc snel en eenvoudig als dataset verbinden met een open-source groottaalmodel zoals Mistral of Llama 2, waardoor zoekopdrachten voor snelle, contextueel relevante antwoorden mogelijk worden.
NVIDIA zegt dat gebruikers eenvoudigweg zoekopdrachten kunnen typen in plaats van te zoeken in notities of opgeslagen inhoud.
Je zou bijvoorbeeld kunnen vragen: 'Wat was het restaurant dat mijn partner aanbeveelde toen hij in Las Vegas was?' Chatten met RTX scant lokale bestanden waarnaar de gebruiker verwijst en geeft het antwoord van context.
De tool ondersteunt verschillende bestandsformaten, waaronder .txt, .pdf, .doc/.docx en .xml. Wijs de toepassing naar de map die deze bestanden bevat, en de tool laadt ze binnen enkele seconden in de bibliotheek.
Bovendien kunnen gebruikers de URL van een YouTube-afspeellijst opgeven en laadt de app de transcripties van de video's in de afspeellijst, zodat gebruikers de inhoud kunnen opvragen die ze behandelen.
Vraag er bijvoorbeeld om travel aanbevelingen op basis van de inhoud van favoriete influencer-video's, of ontvang korte tutorials en how-to's op basis van de beste educatieve bronnen.
In plaats van te vertrouwen op cloudgebaseerde LLM-services, kunnen gebruikers met Chat met RTX gevoelige gegevens op een lokale pc verwerken zonder de noodzaak om deze met een derde partij te delen of een internetverbinding te hebben.
De aankondiging komt een maand nadat NVIDIA GeForce RTX SUPER desktop-GPU's lanceerde voor krachtige generatieve AI-prestaties, nieuwe AI-laptops en nieuwe NVIDIA RTX, een versnelde AI software en tools voor zowel ontwikkelaars als consumenten.