Chat with RTX της Nvidia: Ένα πολλά υποσχόμενο chatbot AI στον υπολογιστή σας
Το Chat with RTX, που είναι δωρεάν για λήψη, είναι μια τεχνολογία που επιτρέπει στους χρήστες να εξατομικεύουν ένα chatbot με το δικό τους περιεχόμενο.
Η Nvidia κυκλοφορεί σήμερα μια πρώιμη έκδοση του Chat with RTX, μια εφαρμογή που σας επιτρέπει να έχετε ένα προσωπικό chatbot AI στον υπολογιστή σας. Μπορείτε να το τροφοδοτήσετε με βίντεο από το YouTube και τα δικά σας έγγραφα για να δημιουργήσετε περιλήψεις και να λάβετε σχετικές απαντήσεις με βάση τα δικά σας δεδομένα. Όλα εκτελούνται τοπικά σε υπολογιστή και το μόνο που χρειάζεστε είναι μια GPU σειράς RTX 30 ή 40 με τουλάχιστον 8 GB VRAM.
Το Chat with RTX, που είναι δωρεάν για λήψη, είναι μια τεχνολογία που επιτρέπει στους χρήστες να εξατομικεύουν ένα chatbot με το δικό τους περιεχόμενο. Η συνομιλία με το RTX μπορεί να χειριστεί βίντεο YouTube, επομένως απλώς εισάγετε μια διεύθυνση URL και σας επιτρέπει να αναζητήσετε μεταγραφές για συγκεκριμένες αναφορές ή να συνοψίσετε ένα ολόκληρο βίντεο.
Η συνομιλία με το RTX χρησιμοποιεί τεχνολογία ανάκτησης επαυξημένης γενιάς (RAG), λογισμικό NVIDIA TensorRT-LLM και επιτάχυνση NVIDIA RTX για να προσφέρει δυνατότητες δημιουργίας AI σε τοπικούς υπολογιστές με Windows που λειτουργούν με GeForce. Οι χρήστες μπορούν γρήγορα, εύκολα να συνδέσουν τοπικά αρχεία σε έναν υπολογιστή ως σύνολο δεδομένων σε ένα μοντέλο μεγάλης γλώσσας ανοιχτού κώδικα όπως το Mistral ή το Llama 2, επιτρέποντας ερωτήσεις για γρήγορες, σχετικές με τα συμφραζόμενα απαντήσεις.
Αντί να αναζητούν σημειώσεις ή αποθηκευμένο περιεχόμενο, οι χρήστες μπορούν απλώς να πληκτρολογούν ερωτήματα.
Το εργαλείο υποστηρίζει διάφορες μορφές αρχείων, συμπεριλαμβανομένων των .txt, .pdf, .doc/.docx και .xml. Στρέψτε την εφαρμογή στο φάκελο που περιέχει αυτά τα αρχεία και το εργαλείο θα τα φορτώσει στη βιβλιοθήκη του σε λίγα δευτερόλεπτα.
Οι χρήστες μπορούν επίσης να συμπεριλάβουν πληροφορίες από βίντεο και λίστες αναπαραγωγής YouTube. Η προσθήκη μιας διεύθυνσης URL βίντεο στο Chat with RTX επιτρέπει στους χρήστες να ενσωματώσουν αυτές τις πληροφορίες στο chatbot τους για ερωτήσεις με βάση τα συμφραζόμενα. Για παράδειγμα, ο χρήστης μπορεί να ζητήσει ταξιδιωτικές προτάσεις με βάση το περιεχόμενο από αγαπημένα βίντεο influencers ή γρήγορα σεμινάρια και οδηγίες με βάση κορυφαίους εκπαιδευτικούς πόρους.
Δεδομένου ότι το Chat with RTX εκτελείται τοπικά σε υπολογιστές και σταθμούς εργασίας Windows RTX, τα παρεχόμενα αποτελέσματα είναι γρήγορα — και τα δεδομένα του χρήστη παραμένουν στη συσκευή. Αντί να βασίζεται σε υπηρεσίες LLM που βασίζονται σε σύννεφο, το Chat with RTX επιτρέπει στους χρήστες να επεξεργάζονται ευαίσθητα δεδομένα σε έναν τοπικό υπολογιστή χωρίς να χρειάζεται να τα μοιράζονται με τρίτους ή να έχουν σύνδεση στο διαδίκτυο.
Εκτός από μια GPU GeForce RTX 30 Series ή νεότερη με τουλάχιστον 8 GB VRAM, το Chat with RTX απαιτεί Windows 10 ή 11 και τα πιο πρόσφατα προγράμματα οδήγησης GPU NVIDIA.
Η συνομιλία με το RTX δείχνει τις δυνατότητες επιτάχυνσης των LLM με GPU RTX. Η εφαρμογή έχει δημιουργηθεί από το έργο αναφοράς προγραμματιστών TensorRT-LLM RAG, διαθέσιμο στο GitHub. Οι προγραμματιστές μπορούν να χρησιμοποιήσουν το έργο αναφοράς για να αναπτύξουν τις δικές τους εφαρμογές που βασίζονται σε RAG για RTX, με επιτάχυνση από το TensorRT-LLM.
