ESDALAB: αναπτύσσοντας κυβερνοφυσικά συστήματα για την αυτοκινητοβιομηχανία και τις αερομεταφορές του μέλλοντος

Ο οδηγός που βλέπω στο βίντεο βιώνει μια κατάσταση που ονομάζεται micro sleep. Χασμουριέται, κλείνουν τα μάτια του και κινδυνεύει να αποκοιμηθεί για λίγα δευτερόλεπτα που μπορεί να αποβούν μοιραία για τη δική του ζωή αλλά και των άλλων. Όμως δεν είναι μόνος μέσα στο όχημα. Κάποιος τον παρακολουθεί και πιο συγκεκριμένα κάποιος παρακολουθεί τον βαθμό της κόπωσής του. Κι αυτός δεν είναι άλλος από το Face Up που αναπτύχθηκε πρόσφατα από το Εργαστήριο Σχεδιασμού Ενσωματωμένων Συστημάτων και Εφαρμογών (ESDALAB) του τμήματος Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών (ΗΜΜΥ) του Πανεπιστημίου Πελοποννήσου, στο οποίο ηγείται ο Καθηγητής Νικόλαος Βώρος και το οποίο αποτελεί πιστοποιημένη Πύλη Ψηφιακής Καινοτομίας (Digital Innovation Hub) της Ευρωπαϊκής Επιτροπής.

Η εφαρμογή Face Up ανήκει στην κατηγορία driver status monitoring και μπορεί να παρακολουθήσει την κατάσταση ενός οδηγού μέσα στο όχημά του, ενώ από τις κινήσεις του κεφαλιού μπορεί επίσης, να ανιχνεύσει την απόσπαση του οδηγού, το επονομαζόμενο driver destraction. «Το περιβάλλον που έχουμε αναπτύξει είναι κατάλληλο για έρευνα πάνω σε αλγόριθμους τέτοιων εφαρμογών, ενώ με μικρές τροποποιήσεις μπορεί να χρησιμοποιηθεί και για παρόμοιες  εφαρμογές όπως είναι για παράδειγμα η αναγνώριση εκφράσεων προσώπου ή αναγνώριση αντικειμένων και η μέτρηση των διαστάσεων τους», εξηγεί ο επικεφαλής του Εργαστηρίου, κ. Νικόλαος Βώρος.

Η εφαρμογή Face Up βασίζεται στη συνεχή παρακολούθηση του προσώπου του οδηγού και στην προσαρμογή σημείων που δείχνουν τη θέση και τις διαστάσεις του στόματος, των ματιών κλπ. Από τις αποστάσεις αυτών των σημείων μπορεί να αντιληφθεί το σύστημα αν ο οδηγός χασμουριέται ή νυστάζει. «Το βασικό πλεονέκτημα της συγκεκριμένης υλοποίησης είναι η χρήση προγραμματιζόμενου υλικού (FPGAs) για την ταχύτατη επεξεργασία εικόνας πράγμα που καθιστά χρήσιμη την εφαρμογή σε περιβάλλοντα υψηλών απαιτήσεων. Η εφαρμογή διατίθεται και σε περιβάλλον προσωπικού υπολογιστή για τη εύκολη σύγκριση διαφορετικών αλγοριθμικών προσεγγίσεων και την αποδοτική ανάπτυξη παρόμοιων εφαρμογών αναγνώρισης σχημάτων και αντικειμένων» παρεμβαίνει ο αναπληρωτής καθηγητής Νικόλαος Πετρέλλης ο οποίος είναι από τους κύριους ερευνητές που ανέπτυξαν την εφαρμογή Face Up στο πλαίσιο του CPSoSaware project, στο οποίο το ESDALAB είναι technical manager (τεχνικός συντονιστής).

Τα κυβερνοφυσικά συστήματα στο επίκεντρο της έρευνας

Ένα σημαντικό τμήμα της ερευνητικής δουλειάς του εργαστηρίου ESDALAB είναι ο σχεδιασμός και η ανάπτυξη κυβερνοφυσικών (cyberphysical) συστημάτων, δηλαδή συστημάτων που αλληλεπιδρούν με φυσικές διεργασίες, όπως για παράδειγμα με τον ανθρώπινο οργανισμό ή με το περιβάλλον. Πρόκειται για μια νέα γενιά συστημάτων ελέγχου οχημάτων στην αυτοκινητοβιομηχανία και στις αερομεταφορές, για αυτό και το Εργαστήριο συνεργάζεται με  μεγάλα ερευνητικά κέντρα, όπως το German Aerospace Center, DRL (Γερμανικό Κέντρο Αεροδιαστημικής) και το ΚΙΤ (Τεχνολογικό Ινστιτούτο της Καρλσρούης), αλλά και με εταιρείες κολοσσούς, όπως BMW, IBM, Panasonic Automotive, κ. ά, προκειμένου να αναπτύξει τη νέα γενιά υπηρεσιών και συστημάτων τα οποία θα δούμε στα αυτοκίνητα και στα αεροπλάνα του μέλλοντος. «Παρατηρείται μια αυξανόμενη ανταγωνιστικότητα στην παγκόσμια αγορά τέτοιων συστημάτων η οποία εισάγει μεγάλες προκλήσεις για τον σχεδιασμό, την ανάπτυξη, την εφαρμογή και την παρακολούθησή τους ώστε να εξασφαλίζεται συνεχής και αδιάλειπτη λειτουργία», συμπληρώνει ο Επίκουρος Καθηγητής Χρήστος Αντωνόπουλος.

Και εδώ έρχεται το CPSoSaware project (Cross-layer cognitive optimization tools & methods for the lifecycle support of dependable CPSoS) που επιτρέπει στους ερευνητές να σχεδιάζουν και να αναπτύσσουν κυβερνοφυσικά συστήματα ως αυτόνομους οργανισμούς που αντιλαμβάνονται το περιβάλλον τους και που αλληλεπιδρούν μαζί του χωρίς απαραίτητα ανθρώπινη παρέμβαση.

«Το CPSoSaware έχει ως βασικό στόχο την ανάπτυξη μοντέλων και εργαλείων λογισμικού όλων των υποσυστημάτων πολύπλοκων κυβερνοφυσικών συστημάτων, τα οποία θα επιτρέψουν τη βέλτιστη χρήση και εκμετάλλευση των διαθέσιμων υπολογιστικών, επικοινωνιακών και ενεργειακών πόρων. Oι CPSoSaware λύσεις βασίζονται σε τεχνολογίες Τεχνητής Νοημοσύνης, αλλά και στη δυνατότητα αλληλεπίδρασης των τελικών χρηστών με χρήση προσαυξημένης πραγματικότητας για την ενίσχυση της αξιοπιστίας, της σθεναρότητας και ασφάλειας του συστήματος. Όλα αυτά αξιολογούνται σε δυο πολύ απαιτητικά περιβάλλοντα, στην αυτοκινητοβιομηχανία (αυτόνομη οδήγηση) και στη βιομηχανία μέσα από σενάρια συνεργασίας ανθρώπου και ρομπότ», περιγράφει ο κ. Αντωνόπουλος.

Αυτόνομη οδήγηση και πλοήγηση

Εκτός του CPSoSaware project το ESDALAB  έχει αναλάβει τον κρίσιμο ρόλο του τεχνικού συντονιστή και σε ένα ακόμη μεγάλο έργο με την ονομασία XANDAR (X-by-Construction Design framework for Engineering Autonomous & Distributed Real-time Embedded Software Systems) που αποτελεί μια κοινοπραξία εταιριών και ερευνητικών οργανισμών. Στο πλαίσιο αυτού του έργου, το οποίο ξεκίνησε τον Ιανουάριο του 2021 και θα ολοκληρωθεί τον Δεκέμβριο του 2023, το Εργαστήριο θα αναπτύξει καινοτόμες τεχνικές, μεθοδολογίες και εργαλεία για να σχεδιάσει, να αναπτύξει και να παρακολουθήσει κρίσιμα για την ασφάλεια συστήματα (safety critical). Πρόκειται για συστήματα με υψηλού βαθμού πολυπλοκότητα και αυστηρές απαιτήσεις, όπου η ασφάλεια και η σθεναρότητα έναντι πάσης φύσεως σφαλμάτων είναι η κύρια προτεραιότητα, καθώς η αποτυχία αντιμετώπισής τους μπορεί να είναι καταστροφική.

Το XANDAR θα παραδώσει μια ώριμη αλυσίδα εργαλείων που θα ικανοποιεί τις ανάγκες του κλάδου για γρήγορη δημιουργία πρωτοτύπων διαλειτουργικών και αυτόνομων ενσωματωμένων συστημάτων. Στην κοινοπραξία του έργου συμμετέχουν αυτοκινητοβιομηχανίες όπως η BMW στα οχήματα της οποίας θα δοκιμαστούν οι τεχνολογίες που θα αναπτυχθούν. Την μεθοδολογία X-by-Construction, που θα αναπτύξει το εργαστήριο, θα δοκιμάσει και η Γερμανική Υπηρεσία Διαστήματος (DLR)  σε μια νέα γενιά μέσων μεταφοράς, τα «ιπτάμενα ταξί».

«Με την DLR  βρισκόμαστε επίσης σε συζητήσεις και για την από κοινού προετοιμασία και κατάθεση πατέντας για ένα καινοτόμο σύστημα έγκαιρου εντοπισμού, ειδοποίησης και αποφυγής συγκρούσεων ιπτάμενων οχημάτων (αεροσκαφών, drones, UAV κ.α.). Η ιδέα βασίζεται στην συνεργατική χρήση πολλαπλών ασύρματων τεχνολογιών επικοινωνίας και στην ενσωμάτωση αυτών σε πλατφόρμες συστημάτων, οι οποίες με την χρήση καινοτόμων αλγορίθμων θα μπορούν να παρέχουν προχωρημένες δυνατότητες αποφυγής σύγκρουσης (CAS–Collision Avoidance System) με χαμηλό κόστος σε πάσης φύσεως ιπτάμενο σύστημα», σημειώνει ο διευθυντής του ESDALAB κ. Βώρος

Προσομοίωση οχημάτων και αεροσκαφών

Όσοι επισκέπτονται το Εργαστήριο Σχεδιασμού Ενσωματωμένων Συστημάτων & Εφαρμογών στην Πάτρα εντυπωσιάζονται επίσης και από τη βιωματική εμπειρία με τους εξομοιωτές οδήγησης και πλοήγησης, υποδομές που αναπτύσσονται στο πλαίσιο έρευνας και συνεργασίας με ευρωπαϊκούς φορείς και εταιρείες που ειδικεύονται στην ανάπτυξη αυτόνομων οχημάτων και πτητικών συσκευών, καθώς και στην αλληλεπίδραση αυτών με τους χειριστές τους.

Το ESDALAB διαθέτει δύο τύπους εξομοιωτών, τους προσομοιωτές ανοικτού κώδικα OpenDS και  FlightGear2  για οδήγηση και πτήση αντίστοιχα και τους Project Cars 2 (οδήγηση) και  Microsoft Flight Simulator 2020 Premium Deluxe Εdition (εμπορική εφαρμογή) για πτήση, ο οποίος μεταξύ άλλων υποστηρίζει και τη χρήση συσκευών εικονικής πραγματικότητας. Οι προσομοιωτές βασίζονται στη χρήση ανοικτού λογισμικού και επιτρέπουν τη δημιουργία ρεαλιστικών εξομοιώσεων για μια ευρεία γκάμα σεναρίων οδήγησης.

Αυτό καθίσταται δυνατό μέσω συστημάτων ομογενοποιημένης και πολυπαραμετρικής παρακολούθησης οχημάτων και οδηγών, ενσωματώνοντας μετρήσεις , για παράδειγμα, από τον εγκέφαλο του οχήματος (μέσω On-Board Diagnostic μονάδων), από εξειδικευμένους αναλογικούς αισθητήρες, από ψηφιακούς αισθητήρες όπως GPS, από αισθητήρες καμπίνας αλλά και βιομετρικούς αισθητήρες του οδηγού.

«Η ομογενοποιημένη επεξεργασία όλων των παραπάνω μετρικών με την χρήση Machine Learning τεχνικών μας δίνει τη δυνατότητα της εκπαίδευσης προσωποποιημένων μοντέλων οδηγού και οχήματος πολύ μεγάλης ακρίβειας αυξάνοντας δραστικά την ασφαλή και αποδοτική χρήση των οχημάτων. Το Εργαστήριο χρησιμοποιεί την υπάρχουσα υποδομή εξομοιωτών για την αξιολόγηση αλγορίθμων Τεχνητής Νοημοσύνης για συστήματα αυτόνομης οδήγησης σε περιβάλλοντα «έξυπνων» πόλεων και ευφυών υποδομών, αλλά και για τη μελέτη των ενεργειακών χαρακτηριστικών των σύγχρονων ηλεκτρικών οχημάτων. Παράλληλα, με τη χρήση τεχνολογιών επαυξημένης και εικονικής πραγματικότητας αναπτύσσονται σενάρια εκπαίδευσης σε θέματα οδικής συμπεριφοράς ασφάλειας σε συνεργασία με εξειδικευμένους φορείς», εξηγεί ο κ. Βώρος

Ένα Υπολογιστικό Κέντρο Αιχμής

Το  ESDALAB με 12 χρόνια λειτουργίας θεωρείται ως ένα σχετικά καινούργιο εργαστήριο. Ωστόσο έχει να επιδείξει σημαντικές ερευνητικές επιτυχίες και διακρίσεις σε εθνικό και σε διεθνές επίπεδο. Έχει βραβευθεί από το πρόγραμμα ΑΡΙΣΤΕΙΑ του υπουργείου Παιδείας και από την ΕE, έχει λάβει  συνολική χρηματοδότηση για έρευνα που ξεπερνά τα 15 εκατ. ευρώ, ενώ διαθέτει ένα πολύ υψηλών προδιαγραφών ερευνητικό δυναμικό με ερευνητές όλων των βαθμίδων. Το Εργαστήριο ως επίσημος, πιστοποιημένος κόμβος ψηφιακής καινοτομίας (Digital Innovation Hub) της ΕΕ –ένας από έξι στην Ελλάδα και μοναδικός στη Νότια Ελλάδα– συντονίζει ένα δυναμικά αναπτυσσόμενο δίκτυο που περιλαμβάνει περισσότερες από 700 εταιρείες και φορείς από την Ευρώπη και την Αφρική.

Ένα από τα Highlights του Εργαστηρίου είναι το νέο πλήρως λειτουργικό υπολογιστικό κέντρο υπερυψηλής απόδοσης (High Performance Computer Center-HPC), που εξελίσσεται σε σημείο αναφοράς στην έρευνα και στην ανάπτυξη νέων “ευφυών” τεχνολογιών σε εγχώριο και διεθνές επίπεδο. Αυτό υποστηρίζει και όλη την έρευνα για τα κυβερνοφυσικά συστήματα που προαναφέρθηκαν, τα οποία αλληλεπιδρώντας με τον φυσικό κόσμο βρίσκουν εφαρμογές σε τομείς όπως η «ευφυής» γεωργία, η αυτόνομη διαβίωση, η Ηλεκτρονική Υγεία, οι μεταφορές, το περιβάλλον, οι «έξυπνες» πόλεις και οι βιομηχανικοί αυτοματισμοί (Industry 4.0).

«Το HPC έχει σχεδιαστεί ώστε να παρέχει πόρους και υπηρεσίες για έρευνα και ανάπτυξη στα μέλη του οικοσυστήματος του κόμβου ψηφιακής καινοτομίας του Εργαστηρίου. Για παράδειγμα δίνει τη δυνατότητα απομακρυσμένης πρόσβασης σε πόρους, όπως εξυπηρετητές GPUs και FPGAs, με συγκεκριμένα τεχνικά χαρακτηριστικά που απαιτούνται για την ανάπτυξη και την εκπαίδευση συστημάτων τεχνητής νοημοσύνης. Στο υπολογιστικό κέντρο φιλοξενούνται επίσης όλες οι υπηρεσίες του κόμβου ψηφιακής καινοτομίας και στο επόμενο διάστημα το HPC θα διασυνδεθεί και με συστήματα 5G με σκοπό τη μελέτη και την ανάπτυξη υπηρεσιών για τα δίκτυα  νέας γενιάς», καταλήγει ο καθηγητής Χρήστος Αντωνόπουλος, συμπληρώνοντας πως στα άμεσα σχέδια του Εργαστηρίου είναι και η δημιουργία μιας spin off εταιρείας για την εμπορική αξιοποίηση των προϊόντων του.