Η Google Cloud ανακοίνωσε τη νέα, όγδοη γενιά των custom AI chips της, γνωστών ως Tensor Processing Units (TPUs), επιλέγοντας αυτή τη φορά να τα διαχωρίσει σε δύο κατηγορίες: ένα chip για εκπαίδευση μοντέλων (TPU 8t) και ένα για inference (TPU 8i), δηλαδή τη χρήση των μοντέλων μετά την ανάπτυξή τους.
Η διάκριση αυτή αντικατοπτρίζει τη διαφοροποίηση των αναγκών στην τεχνητή νοημοσύνη. Το training απαιτεί τεράστια υπολογιστική ισχύ για την εκπαίδευση μοντέλων, ενώ το inference αφορά την καθημερινή χρήση τους, όπως όταν οι χρήστες υποβάλλουν prompts.
Σύμφωνα με την Google, τα νέα TPUs προσφέρουν σημαντικές βελτιώσεις σε σχέση με προηγούμενες γενιές: έως και 3 φορές ταχύτερη εκπαίδευση μοντέλων, 80% καλύτερη απόδοση ανά δολάριο και δυνατότητα διασύνδεσης περισσότερων από 1 εκατομμύριο TPUs σε ένα ενιαίο cluster.
Αυτό μεταφράζεται σε μεγαλύτερη υπολογιστική ισχύ με χαμηλότερη κατανάλωση ενέργειας και κόστος για τους πελάτες.
Παρά τη σημαντική αυτή εξέλιξη, η Google δεν επιχειρεί —τουλάχιστον προς το παρόν— να αντικαταστήσει πλήρως τη Nvidia. Όπως και άλλοι μεγάλοι cloud πάροχοι, όπως η Microsoft και η Amazon, χρησιμοποιεί τα δικά της chips συμπληρωματικά στα συστήματα που βασίζονται σε Nvidia.
Μάλιστα, η Google ανακοίνωσε ότι θα διαθέσει στο cloud της και το νέο chip της Nvidia, Vera Rubin, εντός του έτους.
Μακροπρόθεσμα, η ανάπτυξη custom chips από hyperscalers ενδέχεται να μειώσει την εξάρτησή τους από τη Nvidia, ειδικά καθώς όλο και περισσότερες επιχειρήσεις μεταφέρουν τις AI εφαρμογές τους στο cloud. Ωστόσο, η μέχρι τώρα πορεία δείχνει ότι η Nvidia παραμένει κυρίαρχη δύναμη στην αγορά, με κεφαλαιοποίηση που αγγίζει τα 5 τρισεκατομμύρια δολάρια.
Ενδεικτικό είναι ότι ακόμη και η ανάπτυξη των TPUs από την Google δεν έχει ανακόψει την άνοδο της Nvidia — αντίθετα, η αυξανόμενη ζήτηση για AI υποδομές φαίνεται να ενισχύει συνολικά την αγορά.
Παράλληλα, Google και Nvidia συνεργάζονται για τη βελτίωση της απόδοσης των συστημάτων AI στο cloud. Στο επίκεντρο βρίσκεται το Falcon, μια τεχνολογία δικτύωσης βασισμένη σε software που ανέπτυξε η Google και έκανε open source το 2023 μέσω του Open Compute Project. Η συνεργασία στοχεύει στη βελτίωση της αποδοτικότητας των Nvidia-based συστημάτων μέσα στο cloud περιβάλλον της Google.
