Η παροχή γλωσσικών δεδομένων υψηλής ποιότητας που χρησιμοποιούνται για την εκπαίδευση μοντέλων τεχνητής νοημοσύνης με μηχανική μάθηση μπορεί να εξαντληθεί σε τρία χρόνια, οδηγώντας την πρόοδο της τεχνητής νοημοσύνης σε στασιμότητα, διαπιστώνουν αμερικανοί ερευνητές.
Η μηχανική εκμάθηση εξουσιοδοτεί προγράμματα τεχνητής νοημοσύνης, όπως το Midjourney και το ChatGPT του OpenAI που βασίζεται σε συνομιλία. Τέτοια μοντέλα εκπαιδεύονται σε τεράστιες ομάδες δεδομένων που έχουν δημιουργηθεί από τον άνθρωπο στο Διαδίκτυο. Ωστόσο, σύμφωνα με μια ομάδα εμπειρογνωμόνων στη τεχνητή νοημοσύνη διαφαίνεται ένα πρόβλημα στον ορίζοντα: μπορεί να ξεμείνουμε από δεδομένα για να τα εκπαιδεύσουμε.
Τα γλωσσικά μοντέλα εκπαιδεύονται χρησιμοποιώντας κείμενα από πηγές όπως η Wikipedia, άρθρα ειδήσεων, επιστημονικές εργασίες και βιβλία. Η τάση τα τελευταία χρόνια ήταν αυτά τα μοντέλα να εκπαιδεύονται σε όλο και περισσότερα δεδομένα με την ελπίδα να καταστούν πιο ακριβή και ευέλικτα. Οι ερευνητές που δημιουργούν πιο ισχυρά μοντέλα με μεγαλύτερες δυνατότητες, πρέπει να βρουν όλο και περισσότερα κείμενα για να τα εκπαιδεύσουν και ανησυχούν ολοένα και περισσότερο ότι θα ξεμείνουν από αυτού του είδους τα δεδομένα.
Σύμφωνα με μια επιστημονική δημοσίευση ερευνητών από τον Epoch , έναν οργανισμό έρευνας και πρόβλεψης τεχνητής νοημοσύνης, το απόθεμα γλωσσικών δεδομένων αυξάνεται επί του παρόντος κατά 7% ετησίως, αλλά το μοντέλο τους προβλέπει επιβράδυνση στο 1% μέχρι το 2100. Το απόθεμα είναι αυτή τη στιγμή μεταξύ 7e13 και 7e16 λέξεων, το οποίο είναι κατά 1,5 έως 4,5 τάξεις μεγέθους μεγαλύτερο από τα μεγαλύτερα σύνολα δεδομένων που χρησιμοποιούνται σήμερα. Με βάση αυτές τις τάσεις, πιθανότατα θα ξεμείνουμε από δεδομένα στο χρονικό διάστημα μεταξύ 2030 και 2050.
Σύμφωνα πάντα με τη δημοσίευση του Epoch, οι ερευνητές γλώσσας ΑΙ τεχνητής φιλτράρουν τα δεδομένα που χρησιμοποιούν για την εκπαίδευση μοντέλων σε δύο κατηγορίες, σε υψηλής και σε χαμηλής ποιότητας. Η γραμμή μεταξύ των δύο κατηγοριών μπορεί να είναι ασαφής, λέει ο Pablo Villalobos, ερευνητής του Epoch και ο κύριος συγγραφέας της μελέτης, ωστόσο το κείμενο από την πρώτη κατηγορία θεωρείται καλύτερα γραμμένο και συχνά παράγεται από επαγγελματίες συγγραφείς. Συγκριτικά με το μεγαλύτερο από τα μεγαλύτερα σύνολα δεδομένων, το απόθεμα γλωσσικών δεδομένων υψηλής ποιότητας είναι μεταξύ 4,6e12 και 1,7e13 λέξεων, δηλαδή μικρότερο κατά μία τάξη μεγέθους. Είμαστε σε μια τάξη μεγέθους υψηλής ποιότητας δεδομένων με εξαντλητική τάση που πιθανότατα θα συμβεί μεταξύ 2023 και 2027.
Τα δεδομένα από κατηγορίες χαμηλής ποιότητας αποτελούνται από κείμενα όπως αναρτήσεις μέσων κοινωνικής δικτύωσης ή σχόλια σε ιστότοπους όπως το 4chan, τα οποία υπερτερούν σε αριθμό εκείνων που θεωρούνται υψηλής ποιότητας. Οι ερευνητές συνήθως εκπαιδεύουν μοντέλα χρησιμοποιώντας μόνο δεδομένα που εμπίπτουν στην κατηγορία υψηλής ποιότητας, επειδή αυτός είναι ο τύπος γλώσσας που θέλουν να αναπαράγουν τα μοντέλα. Αυτή η προσέγγιση οδήγησε σε μερικά εντυπωσιακά αποτελέσματα για μεγάλα γλωσσικά μοντέλα όπως το GPT-3.
Αντίστοιχα, η μελλοντική ανάπτυξη των συνόλων δεδομένων εικόνων δείχνει να είναι μικρότερη, ωστόσο, ο ρυθμός ανάπτυξης φαίνεται να είναι περίπου 18% έως 31% ετησίως. Το απόθεμα δεδομένων όρασης αυξάνεται επί του παρόντος κατά 8% ετησίως, αλλά αναμένεται να επιβραδυνθεί στο 1% έως το 2100. Η προβολή αυτών των τάσεων υπογραμμίζει ότι οι εκπαιδευτές μοντέλων ΑΙ πιθανότατα θα τρέξουν δεδομένα εκτός όρασης μεταξύ 2030 και 2070
Ένας τρόπος για να ξεπεραστούν αυτοί οι περιορισμοί δεδομένων θα ήταν να επαναξιολογηθεί αυτό που ορίζεται ως «χαμηλή» και «υψηλή» ποιότητα, σύμφωνα με την Swabha Swayamdipta, καθηγήτρια μηχανικής μάθησης στο Πανεπιστήμιο της Νότιας Καλιφόρνια που ειδικεύεται στην ποιότητα των συνόλων δεδομένων. Εάν οι ελλείψεις δεδομένων ωθήσουν τους ερευνητές της τεχνητής νοημοσύνης να ενσωματώσουν πιο διαφορετικά σύνολα δεδομένων στη διαδικασία εκπαίδευσης, θα ήταν «καθαρά θετικό» για τα γλωσσικά μοντέλα, λέει η ίδια.
Οι ερευνητές μπορούν επίσης να βρουν τρόπους να παρατείνουν τη διάρκεια ζωής των δεδομένων που χρησιμοποιούνται για την εκπαίδευση γλωσσικών μοντέλων. Επί του παρόντος, αυτά τα μοντέλα εκπαιδεύονται με τα ίδια δεδομένα μόνο μία φορά, λόγω των περιορισμών απόδοσης και κόστους, αλλά μπορεί να είναι δυνατό να εκπαιδευτεί ένα μοντέλο πολλές φορές χρησιμοποιώντας τα ίδια δεδομένα, λέει η Swayamdipta.
Ο Percy Liang, καθηγητής επιστήμης υπολογιστών στο Πανεπιστήμιο του Στάνφορντ, αντίθετα λέει ότι χρειάζεται να βελτιωθεί η ικανότητα των μοντέλων και όχι το μέγεθος για να γίνουν πιο αποτελεσματικά. «Είδαμε πώς τα μικρότερα μοντέλα που εκπαιδεύονται σε δεδομένα υψηλότερης ποιότητας μπορούν να ξεπεράσουν τα μεγαλύτερα μοντέλα που έχουν εκπαιδευτεί σε δεδομένα χαμηλότερης ποιότητας», εξηγεί.
Πηγή: MIT Technology Review
