AI Computing Divide: Οι επιστήμονες δεν έχουν πρόσβαση σε ισχυρές μάρκες για την έρευνά τους

AI Computing Divide: Οι επιστήμονες δεν έχουν πρόσβαση σε ισχυρές μάρκες για την έρευνά τους

Πολλοί επιστήμονες πανεπιστημίων είναι απογοητευμένοι από την περιορισμένη πληροφορική που διατίθεται σε αυτούς για την έρευνά τους στον τομέα του τεχνητή νοημοσύνη (AI) είναι διαθέσιμη, ως έρευνα των ακαδημαϊκών σε δεκάδες θεσμικά όργανα παγκοσμίως.

Τα αποτελέσματα 1, που δημοσιεύθηκε στις 30 Οκτωβρίου σχετικά με τον διακομιστή Preprint Arxiv, υποδηλώνει ότι οι ακαδημαϊκοί δεν έχουν πρόσβαση στα πιο προηγμένα συστήματα υπολογιστών. Αυτό θα μπορούσε να επηρεάσει την ικανότητά σας Μεγάλα μοντέλα γλωσσών (LLMS) για την ανάπτυξη και την εκτέλεση άλλων ερευνητικών έργων AI.

Συγκεκριμένα, οι ακαδημαϊκοί ερευνητές μερικές φορές δεν έχουν τους πόρους για να είναι ισχυροί Επεξεργαστές γραφικών (GPU) Για να αγοράσετε - τσιπ υπολογιστών που χρησιμοποιούνται συνήθως για την εκπαίδευση μοντέλων AI που μπορούν να κοστίζουν αρκετές χιλιάδες δολάρια. Αντίθετα, οι ερευνητές σε μεγάλες εταιρείες τεχνολογίας έχουν μεγαλύτερους προϋπολογισμούς και μπορούν να δαπανήσουν περισσότερα για τους GPU. "Κάθε GPU προσθέτει περισσότερη δύναμη", λέει ο συν-συγγραφέας της μελέτης Apoorv Khandelwal, επιστήμονας υπολογιστών στο Brown University στο Providence, Rhode Island. "Ενώ αυτοί οι γίγαντες της βιομηχανίας μπορεί να έχουν χιλιάδες GPU, οι ακαδημαϊκοί μπορεί να έχουν μόνο μερικούς."

"Το χάσμα μεταξύ ακαδημαϊκών και βιομηχανικών μοντέλων είναι μεγάλο, αλλά θα μπορούσε να είναι πολύ μικρότερο", λέει η Stella Biderman, εκτελεστικός διευθυντής της Eleutherai, ενός μη κερδοσκοπικού Ινστιτούτου Ερευνών AI στην Ουάσιγκτον. Η έρευνα σε αυτή την ανισότητα είναι "πολύ σημαντική", προσθέτει.

Αργές ώρες αναμονής

Για να αξιολογήσουν τους υπολογιστικούς πόρους που διατίθενται στους ακαδημαϊκούς, ο Khandelwal και οι συνάδελφοί του εξέτασαν 50 επιστήμονες από 35 ιδρύματα. Από τους ερωτηθέντες, το 66% αξιολόγησε την ικανοποίησή τους από την υπολογιστική τους δύναμη ως 3 ή λιγότερο σε κλίμακα 5. "Δεν είναι καθόλου ικανοποιημένοι", λέει ο Khandelwal.

Τα πανεπιστήμια έχουν διαφορετικούς κανονισμούς για πρόσβαση σε GPU. Κάποιοι μπορεί να έχουν ένα κεντρικό compute cluster που μοιράζεται μεταξύ των τμημάτων και των φοιτητών όπου οι ερευνητές μπορούν να ζητήσουν χρόνο GPU. Άλλα ιδρύματα θα μπορούσαν να αγοράσουν μηχανές που μπορούν να χρησιμοποιηθούν απευθείας από τα μέλη του εργαστηρίου.

Μερικοί επιστήμονες ανέφεραν ότι έπρεπε να περιμένουν ημέρες για να αποκτήσουν πρόσβαση σε GPU, σημειώνοντας ότι οι χρόνοι αναμονής ήταν ιδιαίτερα υψηλοί γύρω από τις προθεσμίες του έργου (βλ. "Υπολογίστε την συμφόρηση των πόρων"). Τα αποτελέσματα υπογραμμίζουν επίσης τις παγκόσμιες ανισότητες στην πρόσβαση. Για παράδειγμα, ένας ερωτώμενος ανέφερε τη δυσκολία εύρεσης GPU στη Μέση Ανατολή. Μόνο το 10% των ερωτηθέντων δήλωσαν ότι είχαν πρόσβαση H100 GPUs της Nvidia, να έχουν ισχυρές μάρκες σχεδιασμένες για την έρευνα AI.

Αυτό το εμπόδιο καθιστά τη διαδικασία της προ-κατάρτισης-τροφοδοτώντας μεγάλα σύνολα δεδομένων σε LLMS-ιδιαίτερα προκλητική. "Είναι τόσο ακριβό που οι περισσότεροι ακαδημαϊκοί δεν σκέφτονται καν να κάνουν την επιστήμη στην προ-κατάρτιση", λέει ο Khandelwal. Αυτός και οι συνάδελφοί του πιστεύουν ότι οι ακαδημαϊκοί προσφέρουν μια μοναδική προοπτική στην έρευνα AI και ότι η έλλειψη πρόσβασης στην υπολογιστική ισχύ θα μπορούσε να περιορίσει τον τομέα της έρευνας.

"Είναι πολύ σημαντικό να έχουμε ένα υγιές, ανταγωνιστικό ακαδημαϊκό ερευνητικό περιβάλλον για μακροπρόθεσμη ανάπτυξη και μακροπρόθεσμη τεχνολογική ανάπτυξη", λέει ο συν-συγγραφέας Ellie Pavlick, ο οποίος μελετά την επιστήμη των υπολογιστών και τη γλωσσολογία στο Brown University. «Όταν έχετε έρευνα στη βιομηχανία, υπάρχουν σαφείς εμπορικές πιέσεις που μερικές φορές σας δελεάζουν να εκμεταλλευτείτε ταχύτερα και να εξερευνήσετε λιγότερο».

Αποδοτικές μέθοδοι

Οι ερευνητές εξέτασαν επίσης τον τρόπο με τον οποίο οι ακαδημαϊκοί θα μπορούσαν να χρησιμοποιήσουν καλύτερα τους λιγότερο ισχυρούς υπολογιστικούς πόρους. Υπολόγισαν πόσος χρόνος θα χρειαζόταν να προ-κυκλοφορούν πολλαπλά LLMs χρησιμοποιώντας υλικό χαμηλού πόρου-μεταξύ 1 και 8 GPU. Παρά τους περιορισμένους πόρους, οι ερευνητές κατάφεραν να εκπαιδεύσουν με επιτυχία πολλά από τα μοντέλα, αν και χρειάστηκαν περισσότερο και τους απαιτούσε να χρησιμοποιήσουν πιο αποτελεσματικές μεθόδους.

"Μπορούμε πραγματικά να χρησιμοποιήσουμε τις GPU που έχουμε για μεγαλύτερο χρονικό διάστημα και έτσι μπορούμε να εξομαλύνουμε μερικές από τις διαφορές μεταξύ του τι έχει η βιομηχανία", λέει ο Khandelwal.

"Είναι συναρπαστικό να βλέπετε ότι μπορείτε πραγματικά να εκπαιδεύσετε ένα μεγαλύτερο μοντέλο από ό, τι πολλοί άνθρωποι θα φανταζόταν, ακόμη και με περιορισμένους υπολογιστικούς πόρους", λέει ο Ji-ung Lee, ο οποίος μελετά τα νευροεξαγόμενα μοντέλα στο Πανεπιστήμιο Saarland στο Saarbrücken της Γερμανίας. Προσθέτει ότι η μελλοντική εργασία θα μπορούσε να εξετάσει τις εμπειρίες των βιομηχανικών ερευνητών σε μικρές εταιρείες που αγωνίζονται επίσης με την πρόσβαση σε υπολογιστικούς πόρους. "Δεν είναι όπως όλοι όσοι έχουν πρόσβαση στην απεριόριστη πληροφορική πληροφορική παίρνουν πραγματικά", λέει.

1. Khandelwal, Α. Et αϊ. Preprint στο Arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).

Αναφορές λήψης