Η Mistral AI και η NVIDIA κυκλοφόρησαν ένα νέο γλωσσικό μοντέλο, το Mistral NeMo 12B, για εταιρικές εφαρμογές όπως chatbot, κωδικοποίηση και σύνοψη. Η συνεργασία συνδυάζει την τεχνογνωσία των εκπαιδευτικών δεδομένων της Mistral AI με το βελτιστοποιημένο οικοσύστημα υλικού και λογισμικού της NVIDIA, το μοντέλο Mistral NeMo προσφέρει υψηλή απόδοση για διάφορες εφαρμογές.
Αξιοποιώντας το κορυφαίο υλικό και λογισμικό της NVIDIA, η Mistral εκπαίδευσε το μοντέλο στην πλατφόρμα Nvidia DGX Cloud AI, η οποία παρέχει αποκλειστική, κλιμακούμενη πρόσβαση στην πιο πρόσφατη αρχιτεκτονική της Nvidia. Αυτή η συνέργεια επέτρεψε την ανάπτυξη ενός μοντέλου με πρωτοφανή ακρίβεια, ευελιξία και αποτελεσματικότητα.
Με μήκος περιβάλλοντος 128K, το Mistral NeMo επεξεργάζεται εκτεταμένες και σύνθετες πληροφορίες πιο συνεκτικά και με ακρίβεια, διασφαλίζοντας αποτελέσματα σχετικά με τα συμφραζόμενα. Παρέχει ακρίβεια, ευελιξία και αποτελεσματικότητα, ενώ παράλληλα, προσφέρει ακρίβεια στη συλλογιστική, τη γνώση του κόσμου και την κωδικοποίηση. Χτισμένο σε τυπική αρχιτεκτονική, εξασφαλίζει απρόσκοπτη ενσωμάτωση, χρησιμεύοντας ως εναλλακτική λύση για συστήματα που χρησιμοποιούν αυτήν τη στιγμή το μοντέλο Mistral 7B.
Κυκλοφόρησε με την άδεια Apache 2.0, η οποία προωθεί την καινοτομία και υποστηρίζει την ευρύτερη κοινότητα AI και το Mistral NeMo είναι ένα μοντέλο 12 δισεκατομμυρίων παραμέτρων. Επιπλέον, το μοντέλο χρησιμοποιεί τη μορφή δεδομένων FP8 για εξαγωγή συμπερασμάτων μοντέλου, η οποία μειώνει το μέγεθος της μνήμης και επιταχύνει την ανάπτυξη χωρίς να υποβαθμίζεται η ακρίβεια.
Διαθέσιμο ως μέρος του Nvidia AI Enterprise, το Mistral NeMo 12B περιλαμβάνει επίσης ολοκληρωμένες δυνατότητες υποστήριξης από τη Nvidia, όπως εξασφάλιση εξειδικευμένης και αξιόπιστης απόδοσης, διατήρηση υψηλών προτύπων ακρίβειας και αποτελεσματικότητας και προστασία της ακεραιότητας και του απορρήτου των δεδομένων. Αυτό επιτρέπει την άμεση πρόσβαση σε ειδικούς της Nvidia AI και καθορισμένες συμφωνίες σε επίπεδο υπηρεσιών, παρέχοντας συνεπή και αξιόπιστη απόδοση για εταιρικούς χρήστες.
Σχεδιασμένο για να χωράει στη μνήμη μιας μόνο GPU NVIDIA L40S, NVIDIA GeForce RTX 4090 ή NVIDIA RTX 4500, το Mistral NeMo NIM προσφέρει υψηλή απόδοση, χαμηλό υπολογιστικό κόστος και βελτιωμένη ασφάλεια και ιδιωτικότητα. Το μοντέλο εκπαιδεύτηκε χρησιμοποιώντας το Megatron-LM, μέρος της NVIDIA NeMo, με 3.072 H100 80GB Tensor Core GPUs στο DGX Cloud, αποτελούμενο από αρχιτεκτονική NVIDIA AI, συμπεριλαμβανομένων επιταχυνόμενων υπολογιστών, δομής δικτύου και λογισμικού για την αύξηση της αποτελεσματικότητας της εκπαίδευσης και με ευελιξία που του δίνει τη δυνατότητα να τρέχει οπουδήποτε – cloud, κέντρο δεδομένων ή σταθμό εργασίας RTX.
