Η Meta, η οποία αναπτύσσει ένα από τα μεγαλύτερα θεμελιώδη μοντέλα μεγάλων γλωσσών ανοιχτού κώδικα, το Llama, πιστεύει ότι θα χρειαστεί σημαντικά περισσότερη υπολογιστική ισχύ για την εκπαίδευση μοντέλων στο μέλλον. Η εταιρεία ετοιμάζεται να εκπαιδεύσει το επόμενης γενιάς μοντέλο γλώσσας, Llama 4, το οποίο απαιτεί περίπου 160.000 GPUs, αριθμός που αντιπροσωπεύει δεκαπλάσια αύξηση σε σύγκριση με τους πόρους που χρειάστηκαν για το Llama 3.
Η Meta κυκλοφόρησε το Llama 3 με 8 δισεκατομμύρια παραμέτρους τον Απρίλιο. Η εταιρεία κυκλοφόρησε την περασμένη εβδομάδα μια αναβαθμισμένη έκδοση του μοντέλου, που ονομάζεται Llama 3.1 405B, η οποία είχε 405 δισεκατομμύρια παραμέτρους , καθιστώντας το το μεγαλύτερο μοντέλο ανοιχτού κώδικα της Meta.
Οι κεφαλαιουχικές δαπάνες της εταιρείας έχουν ήδη δει μια αύξηση 33% σε ετήσια βάση το δεύτερο τρίμηνο του 2024, φτάνοντας τα 8,5 δισεκατομμύρια δολάρια, καθώς επενδύει σημαντικά σε servers, κέντρα δεδομένων και υποδομές δικτύου για να υποστηρίξει τα σχέδιά της για την ανάπτυξη τεχνητής νοημοσύνης. Η CFO της Meta, Susan Li, τόνισε τη στρατηγική της εταιρείας για σταδιακή ανάπτυξη κέντρων δεδομένων σε διάφορα στάδια ανάπτυξης, επιτρέποντας μια ευέλικτη κατανομή πόρων μεταξύ της εκπαίδευσης δημιουργικής τεχνητής νοημοσύνης και των βασικών καθηκόντων κατάταξης και σύστασης.
Ο CEO της Meta, Mark Zuckerberg, έχει εκφράσει την φιλοδοξία της εταιρείας το Llama 4 να γίνει το πιο προηγμένο μοντέλο στη βιομηχανία την επόμενη χρονιά. Ενώ συγκεκριμένες λεπτομέρειες σχετικά με τις δυνατότητες του μοντέλου παραμένουν αδημοσίευτες, η δεκαπλάσια αύξηση της υπολογιστικής ισχύος υποδηλώνει σημαντικές βελτιώσεις στην απόδοση και τις δυνατότητες.
Η επένδυση της Meta στις υποδομές τεχνητής νοημοσύνης αναμένεται να συνεχιστεί τα επόμενα χρόνια, με τις κεφαλαιουχικές δαπάνες να προβλέπεται να αυξηθούν σημαντικά το 2025 για να υποστηρίξουν την μελλοντική εκπαίδευση μοντέλων τεχνητής νοημοσύνης. Αν και η εταιρεία δεν προβλέπει άμεσα έσοδα από προϊόντα δημιουργικής τεχνητής νοημοσύνης, η μακροπρόθεσμη στρατηγική περιλαμβάνει την ανάπτυξη προηγμένων εργαλείων τεχνητής νοημοσύνης για διάφορες εφαρμογές, συμπεριλαμβανομένων πιθανών βελτιώσεων στην εξατομίκευση διαφημίσεων και τις συστάσεις περιεχομένου.
