Η κατανόηση του τρόπου με τον οποίο λειτουργούν τα μεγάλα γλωσσικά μοντέλα παραμένει ένα από τα μεγαλύτερα προβλήματα της σύγχρονης τεχνητής νοημοσύνης. Από τις δυσκολίες ευθυγράμμισης της πολιτικής συμπεριφοράς του Grok της xAI έως τα φαινόμενα «υποχωρητικότητας» του ChatGPT ή τις γνωστές ψευδείς απαντήσεις (hallucinations), η εσωτερική λειτουργία νευρωνικών δικτύων με δισεκατομμύρια παραμέτρους παραμένει δύσκολα ερμηνεύσιμη.
Η νεοφυής εταιρεία Guide Labs, με έδρα το Σαν Φρανσίσκο, ανακοίνωσε μια πιθανή λύση. Η εταιρεία, που ιδρύθηκε από τον CEO Julius Adebayo και την Chief Science Officer Aya Abdelsalam Ismail, παρουσίασε το Steerling-8B, ένα open-source μοντέλο 8 δισ. παραμέτρων με αρχιτεκτονική σχεδιασμένη ώστε κάθε token που παράγεται να μπορεί να ανιχνευθεί έως τα δεδομένα εκπαίδευσής του.
Το Steerling-8B επιτρέπει εντοπισμό των πηγών για τα γεγονότα που αναφέρει,
κατανόηση του τρόπου με τον οποίο αντιλαμβάνεται έννοιες όπως το χιούμορ ή το φύλο, ενεργοποίηση ή απενεργοποίηση συγκεκριμένων εννοιολογικών μοτίβων.
Η προσέγγιση της Guide Labs βασίζεται σε ένα πρόσθετο εννοιολογικό επίπεδο (concept layer) που κατηγοριοποιεί δεδομένα σε ανιχνεύσιμες ομάδες. Αν και απαιτεί περισσότερη αρχική επισημείωση δεδομένων, η εταιρεία χρησιμοποίησε άλλα AI εργαλεία για να αυτοματοποιήσει τη διαδικασία.
Σε αντίθεση με τη «νευροεπιστημονική»
ανάλυση των μοντέλων εκ των υστέρων, η Guide Labs σχεδιάζει το μοντέλο εξαρχής ώστε να είναι ερμηνεύσιμο.
Ένα πιθανό μειονέκτημα θα μπορούσε να είναι η απώλεια emergent συμπεριφορών — δηλαδή της ικανότητας γενίκευσης σε νέα προβλήματα. Ωστόσο, η ομάδα αναφέρει ότι το μοντέλο εξακολουθεί να αναπτύσσει «ανακαλυφθείσες έννοιες», όπως η κβαντική υπολογιστική.
Η ερμηνευσιμότητα θεωρείται κρίσιμη για
καταναλωτικές εφαρμογές (π.χ. αποφυγή χρήσης copyrighted υλικού), έλεγχο ευαίσθητων θεμάτων όπως βία ή ουσίες,
χρηματοοικονομικές αξιολογήσεις χωρίς προκαταλήψεις, επιστημονική έρευνα, όπως η μελέτη πρωτεϊνικής αναδίπλωσης.
Η Guide Labs προέκυψε από το Y Combinator και άντλησε seed χρηματοδότηση 9 εκατ. δολαρίων από την Initialized Capital τον Νοέμβριο του 2024.
Σύμφωνα με την εταιρεία, το Steerling-8B φτάνει περίπου το 90% των δυνατοτήτων σύγχρονων μοντέλων, χρησιμοποιώντας λιγότερα δεδομένα εκπαίδευσης. Το επόμενο βήμα είναι η ανάπτυξη μεγαλύτερου μοντέλου και η παροχή API και agent-based πρόσβασης.
