Ερευνητές στο Πανεπιστήμιο Carnegie Mellon αποκάλυψαν το LegoGPT, ένα μοντέλο τεχνητής νοημοσύνης που δημιουργεί φυσικά σταθερές δομές Lego από μηνύματα κειμένου. Το νέο σύστημα όχι μόνο σχεδιάζει μοντέλα Lego που ταιριάζουν με περιγραφές κειμένου (προτροπές), αλλά διασφαλίζει επίσης ότι μπορούν να κατασκευαστούν στον πραγματικό κόσμο, είτε από ανθρώπους είτε με ρομποτική βοήθεια.
Πώς λειτουργεί το LegoGPT
Το LegoGPT εκπαιδεύτηκε σε ένα εκτενές σύνολο δεδομένων που περιλαμβάνει πάνω από 47.000 σχέδια LEGO, συνοδευόμενα από περιγραφές. Χρησιμοποιεί ένα αυτόνομο μοντέλο γλώσσας για να προβλέψει το επόμενο τουβλάκι που πρέπει να προστεθεί, λαμβάνοντας υπόψη φυσικούς νόμους και περιορισμούς συναρμολόγησης. Για να εξασφαλιστεί η σταθερότητα των σχεδίων, εφαρμόζεται έλεγχος εγκυρότητας και φυσική αναίρεση κατά τη διάρκεια της διαδικασίας συναρμολόγησης.
Οι ερευνητές έχουν δημοσιεύσει το σύνολο δεδομένων StableText2Lego, το οποίο περιλαμβάνει πάνω από 47.000 σχέδια LEGO με λεπτομερείς περιγραφές, καθώς και τον κώδικα και τα μοντέλα του έργου στον ιστότοπο εδώ.
Σε αντίθεση με προηγούμενες προσπάθειες αυτόνομης μοντελοποίησης Lego, το LegoGPT φέρεται να παράγει οδηγίες βήμα προς βήμα για την κατασκευή δημιουργιών Lego που δεν καταρρέουν.
Για να δημιουργήσει το LegoGPT, η ομάδα του Carnegie Mellon επαναπροσδιόρισε την τεχνολογία πίσω από μεγάλα γλωσσικά μοντέλα (LLMs), παρόμοια με αυτά που τρέχουν το ChatGPT. Για να γίνει αυτό, η ομάδα τελειοποίησε το LLaMA-3.2-1B-Instruct, ένα γλωσσικό μοντέλο που ακολουθεί οδηγίες από τη Meta. Στη συνέχεια, η ομάδα αύξησε το μοντέλο πρόβλεψης τούβλων με ένα ξεχωριστό εργαλείο λογισμικού που μπορεί να επαληθεύσει τη φυσική σταθερότητα χρησιμοποιώντας μαθηματικά μοντέλα που προσομοιώνουν τη βαρύτητα και τις δομικές δυνάμεις.
Το LegoGPT λειτουργεί δημιουργώντας πρώτα μια ακολουθία από τοποθετημένα με ακρίβεια τουβλάκια Lego. Για κάθε νέο τούβλο στην ακολουθία, το σύστημα διασφαλίζει ότι δεν συγκρούεται με υπάρχοντα τούβλα και ότι ταιριάζει. Μετά την ολοκλήρωση ενός σχεδίου, χρησιμοποιεί τα προαναφερθέντα μαθηματικά μοντέλα για να επαληθεύσει ότι το μοντέλο μπορεί να σταθεί όρθιο χωρίς να καταρρεύσει.
Εάν τα μέρη καταρρεύσουν στην πραγματική ζωή, το σύστημα εντοπίζει το πρώτο ασταθές τούβλο, αφαιρώντας το και όλα τα επόμενα τούβλα πριν δοκιμάσει μια διαφορετική προσέγγιση. Αυτή η μέθοδος «επαναφοράς με επίγνωση της φυσικής» αποδείχθηκε απαραίτητη για την προσέγγιση της ομάδας. Χωρίς αυτό, μόνο το 24% των σχεδίων παρέμεινε όρθιο, σε σύγκριση με το 98,8% με το πλήρες σύστημα.
Για να αποδείξουν ότι τα σχέδιά τους λειτουργούσαν στην πραγματική ζωή, οι ερευνητές έβαλαν ρομπότ να συναρμολογήσουν τα μοντέλα Lego που δημιουργήθηκαν από AI. Χρησιμοποίησαν ένα σύστημα βραχίονα με αισθητήρες δύναμης για να πάρουν και να τοποθετήσουν τούβλα σύμφωνα με τις οδηγίες που δημιουργήθηκαν από την τεχνητή νοημοσύνη.
Όταν δοκιμάζεται έναντι άλλων συστημάτων AI για δημιουργία 3D, το LegoGPT ξεχωρίζει μέσω της εστίασής του στη δομική ακεραιότητα. Η ομάδα δοκίμασε διάφορες εναλλακτικές λύσεις, συμπεριλαμβανομένου του LLaMA-Mesh και άλλων μοντέλων γενιάς 3D, και διαπίστωσε ότι η προσέγγισή της παρήγαγε το υψηλότερο ποσοστό σταθερών δομών.
