ΑΙ and Beers: Πώς θα δημιουργήσουμε το δικό μας «ChatGPT»

Το καλοκαίρι είναι επιτέλους εδώ, ωστόσο λίγο πριν αναχωρήσουμε για τις διακοπές μας δεν μπορούσαμε να μην πάμε στο τελευταίο AI and Beers της χρονιάς. Σε αυτό το meetup, το οποίοι διοργανώθηκε την Τετάρτη 21 Ιουνίου στον χώρο του egg-enter•grοw•go με τη στήριξη του Ομίλου Τεχνητής Νοημοσύνης – ΑΙ Catalyst, είχαμε την ευκαιρία να μάθουμε τα πάντα γύρω από τα Μεγάλα Γλωσσικά Μοντέλα (Large Language Models – LLMs) και τους έξυπνους βοηθούς.

Πιο συγκεκριμένα, ο Μεγακλής Βασιλάκης, CTO της Squaredev.io, παρουσίασε αναλυτικά βήμα βήμα το πως μπορούμε να φτιάξουμε ένα chatbot, όπως το ChatGPT. Στο πλαίσιο της παρουσίασης δόθηκε ιδιαίτερη έμφαση στα ζητήματα ασφάλειας των LLMs, το γνωστό prompt injection.

Σύμφωνα λοιπόν με την παρουσίαση η διαδικασία δημιουργίας ενός ψηφιακού βοηθού έχει τα εξής στάδια:

Pre-training Phase: Στο στάδιο αυτό ξεκινάμε να φτιάχνουμε την αρχιτεκτονική του μοντέλου με ένα transformer (η αρχιτεκτονική νευρωνικού δικτύου με βάση την οποία δημιουργήθηκε το ChatGPT), ο οποίος δεν είναι εκπαιδευμένος, δηλαδή δεν έχει δει πράγματα. Αυτό που κάνουμε σε αυτή την περίπτωση είναι να μαζεύουμε έναν τεράστιο όγκο δεδομένων, από το internet, τη Wikipedia, συγκεκριμένα data sets κ.ο.κ. Και έτσι λοιπόν ξεκινάμε να εκπαιδεύουμε το μοντέλο. Αυτό που θέλουμε είναι το μοντέλο μας να μάθει την αλληλουχία των λέξεων. Όταν τελειώσουμε με την εκπαίδευση λέμε ότι έχουμε ένα base model. Ένα τέτοιο μοντέλο ήταν και το GPT-3,το οποίο ήταν προκάτοχος του ChatGPT. Φυσικά, πρέπει να πούμε ότι τα μοντέλα δεν γνωρίζουν λέξεις, δεν μιλάνε δηλαδή κάποια φυσική γλώσσα όπως κάνουν οι άνθρωποι. Τα μοντέλα καταλαβαίνουν μόνο αριθμούς. Οπότε, αυτό που πρέπει να κάνουμε είναι να «μεταφράσουμε» τις λέξεις μας σε αριθμούς, έτσι ώστε να γίνονται κατανοητές από το μοντέλο.

Prompt Engineering: Ένα εξαιρετικά σημαντικό κομμάτι της εκπαίδευσης ενός μοντέλου, είναι το sentiment analysis, δηλαδή η διαδικασία εκείνη κατά την οποία μαθαίνουμε το μοντέλο μας να αναγνωρίζει το συναίσθημα. Φυσικά, το μοντέλο δεν μπορεί πραγματικά να αναγνωρίσει ένα συναίσθημα, αυτό που μπορεί όμως να κάνει είναι να δώσει προσοχή σε ορισμένες λέξεις και να προβλέψει το ποια θα είναι η επόμενη. Και εδώ έρχεται και η έννοια του prompt engineering, η οποία είναι εξαιτερικά σημαντική. Τι ακριβώς όμως είναι το Prompt Engineering; Στην ουσία πρόκειται για μια διαδικασία κατά την οποία «κοροϊδεύουμε» το μοντέλο με σκοπό αυτό να πραγματοποιήσει τις εργασίες που εμείς θέλουμε. Στις εργασίες αυτές περιλαμβάνεται το κάνει κάποια συζήτηση ή να γράψει κώδικα.

Supervised fine-tuning: Πλέον είμαστε στο στάδιο που το μοντέλο μας καταλαβαίνει τη φυσική γλώσσα, ωστόσο ο στόχος εδώ είναι να φτιάξουμε το ChatGPT. Αυτό που πρέπει να κάνουμε λοιπόν είναι να μαζέψουμε ένα καλό data set με τις ιδανικές απαντήσεις που θα θέλαμε να δίνει το μοντέλο σε συγκεκριμένες ερωτήσεις. Στόχος μας είναι να φτιάξουμε έναν ψηφιακό βοηθό, δηλαδή κάποιον που εάν τον ρωτήσουμε κάτι, να μπορεί η απάντησή του να μοιάζει ανθρώπινη.

Reinforcement learning : Ένα από τα τελικά στάδια για τη δημιουργία ενός ψηφιακού βοηθού είναι το reinforcement learning. Σε αυτή την περίπτωση έχουμε να κάνουμε με μία μια τεχνική machine learning, κατά την οποία ο αλγόριθμος ανακαλύπτει μέσω της δοκιμής και του σφάλματος το ποιες ενέργειες προσφέρουν τα περισσότερα οφέλη. Δηλαδή εάν το μοντέλο μας κάνει μια σωστή πράξη κερδίζει πόντους, εάν κάνει μια λάθος πράξη, χάνει πόντους.

Βέβαια, εκτός από τον εκπαιδευτικό κομμάτι, το meetup είχε και πολλές άλλες εκπλήξεις. Ειδικότερα, οι παρευρισκόμενοι είχαν την ευκαιρία να παίξουν ένα παιχνίδι ερωτοαπαντήσεων και να κερδίσουν πόντους. Ο νικητής κέρδισε ένα badge που αντιστοιχεί σε ένα ΝFT!

Εμείς με τη σειρά μας περιμένουμε με ανυπομονισία το επόμενο meetup!

Χορηγοί/Υποστηρικτές της εκδήλωσης ήταν οι:
ΕΙΤ ΑΙ Community
egg-enter•grοw•go
Eurocapital Partners
Ιnforex
ComeTogether

Αθηναϊκή Ζυθοποιεία