«Η ενέργεια που καταναλώνουν 130 νοικοκυριά μέσα σε έναν ολόκληρο χρόνο δεν φτάνει για την εκπαίδευση ενός μοντέλου τεχνητής νοημοσύνης (όπως π.χ. GPT-3).
Την ίδια ώρα, ο περιβαλλοντικός αντίκτυπος του cloud computing υπερβαίνει κατά πολύ αυτόν των αεροπορικών εταιρειών, ενώ τα κέντρα δεδομένων συμβάλλουν στο 2-3% των παγκόσμιων εκπομπών θερμοκηπίου, με τους ενεργοβόρους διακομιστές τους να χρησιμοποιούν για παράδειγμα, το 7% της ηλεκτρικής ενέργειας της Δανίας και το 2,8% των ΗΠΑ.
Σε όλα αυτά τα συστήματα η τεχνητή νοημοσύνη πρωταγωνιστεί σε μια κούρσα ανάπτυξης που απειλεί τον πλανήτη με περιβαλλοντική καταστροφή».
ΔΙΑΒΑΣΤΕ ΕΠΙΣΗΣ
Αυτά μού λέει με αφορμή τη συμμετοχή της ως προσκεκλημένη ομιλήτρια στο Athens Science Festival 2024, η νευροεπιστήμονας και Διευθύντρια Ερευνών στο Ινστιτούτο Μοριακής Βιολογίας και Βιοτεχνολογίας (ΙΜΒΒ), του Ιδρύματος Τεχνολογίας και Έρευνας (ΙΤΕ) στο Ηράκλειο Κρήτης, δρ Παναγιώτα Ποϊράζη, στο εργαστήριο της οποίας η έρευνα επικεντρώνεται στην ανάπτυξη υπολογιστικών μοντέλων της ελαφριάς και εκπληκτικά αποδοτικής ενεργειακά συσκευής που ονομάζεται εγκέφαλος.
«Ο ανθρώπινος εγκέφαλος επεξεργάζεται μαζικά πληροφορίες με έναν παράλληλο τρόπο όπου δισεκατομμύρια νευρώνες με τρισεκατομμύρια συνάψεις λειτουργούν ταυτόχρονα και ο οποίος, παρά την αξιοσημείωτη πολυπλοκότητά του παραμένει συμπαγής και πολύ οικονομικός στην κατανάλωση ενέργειας», προσθέτει. Το μυστικό του βρίσκεται στους νευρώνες του, οι οποίοι ενσωματώνουν τόσο την επεξεργασία όσο και την αποθήκευση πληροφοριών (μνήμη), σε αντίθεση με την καθιερωμένη αρχιτεκτονική Von Neumann, στην οποία στηρίζεται ο σχεδιασμός των ηλεκτρονικών υπολογιστών.
Με υπολογιστικούς όρους, ο ανθρώπινος εγκέφαλος μπορεί να εκτελέσει το ισοδύναμο ενός exaflop (1000 petaflops), δηλαδή ένα δισεκατομμύριο δισεκατομμύρια (ο αριθμός 1 ακολουθούμενος από 18 μηδενικά) μαθηματικές πράξεις ανά δευτερόλεπτο, με ισχύ μόλις 20 Watt, λιγότερη δηλαδή από ένα απλό λαμπτήρα στο σαλόνι μας! Και αυτό τη στιγμή που ο Oak Ridge Frontier, ένας από τους πιο ισχυρούς υπερυπολογιστές στον κόσμο παλεύει να ανταποκριθεί στα 200 petaflops με ισχύ 30 Megawatt.
Και εδώ εύλογα προκύπτει το ερώτημα: Γιατί να μην εμπνευστούμε από τον ανθρώπινο εγκέφαλο και να σχεδιάσουμε τεχνητή νοημοσύνη που να μην…καταστρέφει τον πλανήτη;
Σε αυτή ακριβώς την έμπνευση θα εστιάσει κατά την ομιλία της στην Τεχνόπολη του Δήμου Αθηναίων, στις 21 Απριλίου, η διακεκριμένη ερευνήτρια, η οποία ανήκει στην ομάδα εκείνη των επιστημόνων που έστρεψαν πολύ νωρίς τον ερευνητικό τους φακό τόσο στην κατανόηση λειτουργιών, όπως η μνήμη και η μάθηση, όσο και στην εφαρμογή της νέας γνώσης στην ανάπτυξη προηγμένων, ενεργειακά αποδοτικών αλγορίθμων Τεχνητής Νοημοσύνης.
Καθώς ο όγκος και η πολυπλοκότητα των δεδομένων που συλλέγονται καθημερινά θα αυξάνονται ραγδαία, θα μεταβάλλονται και οι απαιτήσεις από τα υπολογιστικά συστήματα που επεξεργάζονται αυτά τα δεδομένα. Με δεδομένη την σοβαρή επιβάρυνση του πλανήτη από την κλιματική κρίση, οι υπολογιστές του μέλλοντος και οι εφαρμογές που αυτοί χρησιμοποιούν θα πρέπει να επιφέρουν τις ελάχιστες ενεργειακές περιβαλλοντικές πιέσεις. Για να επιτευχθεί αυτός ο στόχος, επιστήμονες σε όλο τον κόσμο, ανάμεσά τους και η Δρ. Ποϊράζη αναζητούν λύσεις στα μυστικά της βιολογίας και συγκεκριμένα στον εγκέφαλο των θηλαστικών.
Ο εγκέφαλος ως νευρωνικό δίκτυο υψηλής ακριβείας
Η δρ Ποϊράζη λατρεύει τους δενδρίτες-αυτές τις διακλαδώσεις που προεξέχουν από τους νευρώνες και μοιάζουν με κλαδιά δέντρων-και πιστεύει πως οι επιστήμονες που μελετούν τη βιολογική ή την τεχνητή νοημοσύνη, θα πρέπει να τους δώσουν περισσότερη σημασία.
Η ίδια τους παρομοιάζει με ηλεκτρικά κυκλώματα όπως αυτά που υπάρχουν σε έναν υπολογιστή, τα οποία εκτελούν πολύπλοκες λειτουργίες χρησιμοποιώντας ηλεκτρικά σήματα: «Οι δενδρίτες λαμβάνουν ηλεκτρικά σήματα από άλλους νευρώνες, τα επεξεργάζονται και στη συνέχεια τα μεταφέρουν στο κυτταρικό σώμα. Εάν το σήμα που φτάνει στο σώμα είναι αρκετά ισχυρό, τότε παράγεται το δυναμικό ενεργείας - μια ηλεκτρική ώθηση η οποία στη συνέχεια διεγείρει άλλους νευρώνες- διαμορφώνοντας ένα ηλεκτρικό δίκτυο επικοινωνίας ανάλογο με το σύστημα ηλεκτροδότησης μια πόλης. Πίσω από τις σκέψεις και τη συμπεριφορά ανθρώπων και ζώων βρίσκεται η ηλεκτρική αυτή επικοινωνία ανάμεσα στα πολλαπλά δίκτυα νευρώνων του εγκεφάλου».
Παρά το γεγονός ότι οι δενδρίτες καταλαμβάνουν έως και το 97% της επιφάνειας ενός νευρώνα, οι ακριβείς λειτουργίες τους παρέμεναν άγνωστες για δεκαετίες. Μέχρι πρόσφατα θεωρείτο ότι η συμβολή τους περιοριζόταν στο να «απλώνουν το χέρι» τους για να συλλέγουν τα εισερχόμενα σήματα και να τα στέλνουν για επεξεργασία στο κυτταρικό σώμα του νευρώνα. Αυτή ιστορία όμως πάλιωσε. Η νευροεπιστήμονας, μαζί με την ομάδα του εργαστηρίου της, ήταν από τους πρώτους που αποκάλυψαν, με τη χρήστη υπολογιστικών μοντέλων, ότι οι ίδιοι οι δενδρίτες είναι υπολογιστικά ισχυροί και επιτελούν μια ποικιλία περίπλοκων μετασχηματισμών των σημάτων που δέχονται πριν καν αυτά φτάσουν στο κυτταρικό σώμα για επεξεργασία.
«Το εργαστήριό μας έχει δείξει με διάφορα υπολογιστικά μοντέλα ότι οι δενδρίτες είναι ικανοί να επεξεργάζονται πληροφορίες αυτόνομα, με πολύπλοκους τρόπους, όπως κάνει και το αντίστοιχο κυτταρικό σώμα. Το ότι κάθε νευρώνας διαθέτει πολλούς τέτοιους δενδρίτες, τού προσδίδει πολύ μεγαλύτερη ικανότητα επεξεργασίας και αποθήκευσης πληροφοριών από ό,τι θεωρούσαμε πριν από μερικές δεκαετίες», εξηγεί η επιστήμονας.
Ο «πολυμήχανοι» δενδρίτες
Το 2003, η δρ Ποϊράζη προέβλεψε μέσω υπολογιστικών μοντέλων ότι ένας μεμονωμένος νευρώνας και συγκεκριμένα, ο πυραμιδικός που είναι ο κύριος κυτταρικός τύπος στον εγκέφαλο των θηλαστικών, μπορεί να λειτουργήσει ως τεχνητό νευρωνικό δίκτυο εξαιτίας των δενδριτών. Συγκεκριμένα, οι δενδρίτες προσδίδουν ένα επιπλέον επίπεδο επεξεργασίας, μετατρέποντας το κύτταρο σε νευρωνικό δίκτυο δύο επιπέδων.
«Παρατηρήσαμε πως ένας νευρώνας μπορεί να είναι κάτι περισσότερο από ένα απλό δίκτυο ενός επιπέδου. Μπορεί να περιλαμβάνει δύο ή και περισσότερα ενδιάμεσα υπολογιστικά επίπεδα, καθιστώντας τον έτσι θεωρητικά ικανό να εκτελέσει σχεδόν οποιοσδήποτε υπολογισμό που μπορεί να φανταστεί κάποιος. Αρκεί ο νευρώνας να έχει αρκετούς δενδρίτες, που να μπορούν μεμονωμένα να εκτελούν τη δική τους μη γραμμική λειτουργία», εξηγεί η ίδια.
Η πρωτοποριακή αυτή μελέτη άνοιξε τον δρόμο σε άλλους ερευνητές οι οποίοι επιβεβαίωσαν τα ευρήματά της και τα επέκτειναν, δείχνοντας ότι εξαιτίας των δενδριτών οι μεμονωμένοι νευρώνες θα μπορούσαν να δρουν ως ολοένα και βαθύτερα δίκτυα πολλαπλών επιπέδων.
Το 2019 σε μια δημοσίευση στο επιστημονικό περιοδικό Nature Communications, με τίτλο: «Αμφισβητώντας το δόγμα του σημειακού νευρώνα: Οι ενδονευρώνες ταχείας πυροδότησης ως μη γραμμικά νευρωνικά δίκτυα», η κα Ποϊράζη με την ομάδα της επανήλθαν αμφισβητώντας τη μέχρι τότε θεώρηση ότι οι ενδονευρώνες (εκτός από τους πυραμιδικούς) αποτελούνται από γραμμικούς δενδρίτες. Συγκεκριμένα, η ερευνητική ομάδα έδειξε ότι και οι ενδονευρώνες περιλαμβάνουν πολύπλοκους, μη γραμμικούς δενδρίτες. Οι συγκεκριμένες υπολογιστικές προβλέψεις επιβεβαιώθηκαν και πειραματικά, «φωτίζοντας» τον τρόπο λειτουργίας των ενδονευρώνων ταχείας πυροδότησης, του πιο σημαντικού τύπου ανασταλτικών νευρώνων στον εγκέφαλό μας.
«Η έρευνα αυτή παρουσίασε μία νέα θεώρηση του τρόπου λειτουργίας των ενδονευρώνων, κατά την οποία τα κύτταρα λειτουργούν αυτόνομα ως νευρωνικά δίκτυα 2-επιπέδων με κόμβους αντίστοιχους των δενδριτικών ιδιοτήτων τους. Αυτό έθεσε υπό αμφισβήτηση τη μέχρι προσφάτως αποδεκτή θεωρία ότι οι ενδονευρώνες ταχείας πυροδότησης λειτουργούν ως απλά σημειακά κύτταρα χωρίς δενδριτική επεξεργασία των ερεθισμάτων τους», σημειώνει η ίδια.
Έναν χρόνο αργότερα, το 2020, η ομάδα της δρ Ποϊράζη συνεργάστηκε με την ομάδα του δρα. Larkum σε μια μελέτη στο Science, προτείνοντας ότι ακόμη και ένα μικρό τμήμα ενός δενδρίτη μπορεί να είναι αρκετό για την εκτέλεση πολύπλοκων υπολογισμών, οι οποίοι θεωρούνταν εκτελέσιμοι μόνο από μεγάλα νευρωνικά δίκτυα.
Για την έρευνά της αναφορικά με τη λειτουργία των δενδριτών σε διαδικασίες μνήμης και μάθησης, την οποία διεξάγει με τη χρήση υπολογιστικών και θεωρητικών μεθόδων, η Δρ. Ποϊράζη έλαβε αρκετές διακρίσεις, όπως το βραβείο του EMBO για νέους ερευνητές (2005), την εξαιρετικά ανταγωνιστική χρηματοδότηση ERC StG από το Ευρωπαϊκό Συμβούλιο Ερευνάς (2012) και τα διεθνούς φήμης, υψηλού κύρους βραβεία Friedrich Wilhelm Bessel Research Award του Γερμανικού ιδρύματος Alexander von Humboldt το 2018 και το Visiting Fellow Award του Γερμανικού ιδρύματος EINSTEIN Foundation (2019). Αξίζει να σημειωθεί ότι τόσο το Friedrich Wilhelm Bessel Research Award όσο και το EINSTEIN visiting fellow award απονέμονται σε επιστήμονες εκτός Γερμανίας, οι οποίοι χαίρουν διεθνούς αναγνώρισης για το επιστημονικό τους έργο και που αναμένεται να έχουν σημαντική επιρροή στον επιστημονικό τους χώρο, πέραν του συγκεκριμένου πεδίου έρευνάς τους. Μέχρι στιγμής η δρ Ποϊράζη είναι η μόνη επιστήμονας στην Ελλάδα που έχει τιμηθεί με το EINSTEIN visiting fellow award ενώ μόνο 6 Έλληνες ερευνητές έχουν τιμηθεί με το Friedrich Wilhelm Bessel Research Award, όλοι από την Κρήτη, και μάλιστα οι 5 εξ αυτών διενεργούν έρευνα στο ΙΤΕ.
Όταν η βιολογία νικά το πυρίτιο
Τα αποτελέσματα της έρευνας της κας Ποϊράζη καθιστούν τους δενδρίτες ένα εξαιρετικό συστατικό του βιολογικού εγκεφάλου το οποίο θα μπορούσε να αποτελέσει πηγή έμπνευσης για την ανάπτυξη πιο ισχυρών συστημάτων τεχνητής νοημοσύνης. Η νέα αυτή γενιά, εμπνευσμένη από τον ανθρώπινο εγκέφαλο, θα μπορούσε να είναι η αλλαγή του παιχνιδιού που περιμέναμε.
Ας ξεχάσουμε τις “ζούγκλες” πυριτίου της παραδοσιακής τεχνητής νοημοσύνης.
Η νέα προσέγγιση, που ονομάζεται “dendrocentric AI” (δενδροκεντρική τεχνητή νοημοσύνη) αντλεί έμπνευση από τη βιολογία. Αντί για ωμούς υπολογισμούς με σωρούς επεξεργαστών, το δενδροκεντρικό AI μιμείται τον κομψό χορό των νευρώνων στον εγκέφαλο, όπου οι δενδρίτες δεν είναι απλώς παθητικά ‘σύρματα’, αλλά σμιλεύουν ενεργά και διαμορφώνουν τα σήματα που μεταφέρουν, επιτρέποντας στον εγκέφαλο να οργανώσει ένα σύμπαν πληροφοριών. Μιμούμενοι τους δενδριτικούς υπολογισμούς του εγκεφάλου, οι ερευνητές ελπίζουν να κατασκευάσουν συστήματα τεχνητής νοημοσύνης που δεν θα είναι μόνο πιο ενεργειακά αποδοτικά αλλά και μικρότερα, ταχύτερα και ακόμη πιο “έξυπνα”.
«Ο ανθρώπινος εγκέφαλος μαθαίνει συνέχεια και από πολύ λίγα παραδείγματα, δεν ξεχνά όσα έχει μάθει και μεταφέρει προηγούμενες γνώσεις σε νέα καθήκοντα καταναλώνοντας την ισχύ μόνο ενός λαμπτήρα 20 Watt. Αν καταφέρει κάποιος να κατανοήσει πώς το κάνει αυτό, θα αποκαλύψει τρόπους ενίσχυσης της εκμάθησης σε τεχνητά συστήματα», προσθέτει η ερευνήτρια.
Πρόσφατες μελέτες στο εργαστήριο της κας Ποϊράζη δείχνουν ότι η ενσωμάτωση βιολογικών χαρακτηριστικών όπως οι δενδρίτες και οι αλγορίθμοι μάθησης που χρησιμοποιεί ο εγκέφαλος μπορούν να επιφέρουν σημαντικά πλεονεκτήματα σε συστήματα μηχανικής μάθησης που αποτελούνται τεχνητά νευρωνικά δίκτυα:
«Για παράδειγμα, η ενσωμάτωση της δενδριτικής δομής επιτρέπει στα συστήματα αυτά να μαθαίνουν εξίσου καλά ή και καλύτερα, να διαχωρίζουν εικόνες (π.χ. τα ψηφία 0-9, εικόνες ρούχων/παπουτσιών κτλ) σε σχέση με τεχνητά νευρωνικά δίκτυα χωρίς δενδρίτες. Καταφέρνουν όμως να λύσουν το συγκεκριμένο πρόβλημα πολύ πιο γρήγορα, με αξιοπιστία και χρησιμοποιώντας πολύ λιγότερες παραμέτρους (100-300 φορές λιγότερες), επιτυγχάνοντας έτσι πολύ μικρότερη κατανάλωση ενέργειας. Επιπλέον, τεχνητά νευρωνικά δίκτυα με δενδρίτες επιλύουν προβλήματα όπως η σειριακή εκμάθηση πληροφοριών με πολύ μεγαλύτερη ακρίβεια σε σχέση με τα κλασσικά, τα οποία πάσχουν από το πρόβλημα του catastrophic forgetting. Δηλαδή με κάθε νέα πληροφορία που μαθαίνουν ξεχνάνε τις προηγούμενες».
Τα παραπάνω ευρήματα αποτελούν ένα πρώτο ελπιδοφόρο βήμα προς την ανάπτυξη βιολογικά εμπνευσμένων συστημάτων τεχνητής νοημοσύνης τα οποία θα είναι ακριβή, αξιόπιστα και ταυτόχρονα ενεργειακά αποδοτικά.
Σημείωση: Η Δρ. Παναγιώτα Ποϊράζη μέσω της ομιλίας της στο #ASF2024, με θέμα «Αποκωδικοποιώντας τα μυστήρια της βιολογικής και της τεχνητής νοημοσύνης», θα μας μυήσει στη συναρπαστική εξερεύνηση του θαυμαστού κόσμου των εγκεφάλων, τόσο των βιολογικών όσο και των τεχνητώνΚυριακή 21 Απριλίου 2024 | Δεξαμενές Καθαρισμού | Ώρα: 19:00
