Υπολογισμός στο AI Computing: Οι επιστήμονες δεν έχουν πρόσβαση σε ισχυρές μάρκες για την έρευνά τους
Υπολογισμός στο AI Computing: Οι επιστήμονες δεν έχουν πρόσβαση σε ισχυρές μάρκες για την έρευνά τους
Πολλοί πανεπιστημιακοί επιστήμονες είναι απογοητευμένοι με την περιορισμένη απόδοση υπολογιστών, η οποία για την έρευνά τους στον τομέα του (KI) είναι διαθέσιμο, ως έρευνα μεταξύ των ακαδημαϊκών σε δεκάδες ιδρύματα παγκοσμίως.
Τα αποτελέσματα 1 Αυτό θα μπορούσε να επηρεάσει την ικανότητά σας, Οι επεξεργαστές γραφικών (GPU) για να αγοραστούν μάρκες-υπολογιστή που συχνά χρησιμοποιούνται για την εκπαίδευση μοντέλων AI και μπορούν να κοστίζουν αρκετές χιλιάδες δολάρια. Αντίθετα, οι ερευνητές έχουν υψηλότερους προϋπολογισμούς σε μεγάλες εταιρείες τεχνολογίας και μπορούν να δαπανήσουν περισσότερα για GPU. "Κάθε GPU προσθέτει περισσότερη δύναμη", λέει ο συνεργάτης της μελέτης Apoorv Khandelwal, επιστήμονας υπολογιστών στο Brown University στο Providence, Rhode Island. "Ενώ αυτοί οι βιομηχανικοί γίγαντες μπορεί να έχουν χιλιάδες GPU, οι ακαδημαϊκοί μπορεί να έχουν μόνο λίγους."
"Το χάσμα μεταξύ ακαδημαϊκών και βιομηχανικών μοντέλων είναι μεγάλο, αλλά θα μπορούσε να είναι πολύ μικρότερο", λέει η Stella Biderman, διευθύνων σύμβουλος της Eleutherai, ενός μη κερδοσκοπικού ερευνητικού Ινστιτούτου AI στην Ουάσιγκτον. Η έρευνα σχετικά με αυτή την ανισότητα είναι "πολύ σημαντική", προσθέτει.
αργές ώρες αναμονής
Προκειμένου να αξιολογήσουν τους διαθέσιμους υπολογιστικούς πόρους για τους ακαδημαϊκούς, ο Khandelwal και οι συνάδελφοί του εξέτασαν 50 επιστήμονες από 35 ιδρύματα. Από τους ερωτηθέντες, το 66% αξιολόγησε την ικανοποίησή τους από την υπολογιστική τους δύναμη με 3 ή λιγότερο σε κλίμακα 5. "Δεν είναι καθόλου ικανοποιημένοι", λέει ο Khandelwal.
Τα πανεπιστήμια έχουν διαφορετικούς κανονισμούς για πρόσβαση σε GPU. Κάποιοι θα μπορούσαν να έχουν ένα κεντρικό compute cluster που μοιράζεται τα τμήματα και τους φοιτητές, όπου οι ερευνητές μπορούν να ζητήσουν χρόνο GPU. Άλλα ιδρύματα θα μπορούσαν να αγοράσουν μηχανές που μπορούν να χρησιμοποιηθούν απευθείας από τα μέλη του εργαστηρίου.
Ορισμένοι επιστήμονες ανέφεραν ότι έπρεπε να περιμένουν ημέρες για να αποκτήσουν πρόσβαση σε GPU και παρατήρησαν ότι οι χρόνοι αναμονής ήταν ιδιαίτερα υψηλοί (βλ. "Υπολογισμός αποδοχής πόρων"). Τα αποτελέσματα απεικονίζουν επίσης τις παγκόσμιες ανισότητες στην πρόσβαση. Για παράδειγμα, ένας ερωτώμενος ανέφερε τις δυσκολίες εύρεσης GPU στη Μέση Ανατολή. Μόνο το 10% των ερωτηθέντων δήλωσε ότι η πρόσβαση σε , ισχυρά τσιπ που αναπτύχθηκαν για έρευνα AI.
Αυτό το εμπόδιο καθιστά τη διαδικασία προ-κατάρτισης-τη σίτιση των μεγάλων αρχείων δεδομένων σε LLMS-Particly προκλητική. "Είναι τόσο ακριβό που οι περισσότεροι ακαδημαϊκοί δεν σκέφτονται να κάνουν την επιστήμη στην προ-κατάρτιση", λέει ο Kaufenwal. Αυτός και οι συνάδελφοί του είναι της άποψης ότι οι ακαδημαϊκοί προσφέρουν μια μοναδική προοπτική στην έρευνα AI και ότι η έλλειψη πρόσβασης στην υπολογιστική ισχύ θα μπορούσε να περιορίσει τον τομέα της έρευνας. "Είναι απλά σημαντικό να έχουμε ένα υγιές, ανταγωνιστικό ακαδημαϊκό ερευνητικό περιβάλλον για μακροχρόνια ανάπτυξη και μακροχρόνια τεχνολογική ανάπτυξη", λέει ο συνεργάτης Ellie Pavlick, ο οποίος μελετά την επιστήμη των υπολογιστών και τη γλωσσολογία στο Brown University. "Εάν έχετε έρευνα στη βιομηχανία, υπάρχει σαφής εμπορική πίεση, η οποία μερικές φορές σας δελεάζει να χρησιμοποιήσετε και να εξερευνήσετε λιγότερο ταχύτερα." Αποδοτικές μέθοδοι Οι ερευνητές εξέτασαν επίσης τον τρόπο με τον οποίο οι ακαδημαϊκοί θα μπορούσαν να χρησιμοποιήσουν καλύτερα τους λιγότερο ισχυρούς υπολογιστικούς πόρους. Υπολογίζουν πόσος χρόνος θα χρειαστεί να εκπαιδεύσουν διάφορα LLM με υλικό με χαμηλή κατανάλωση πόρων - μεταξύ 1 και 8 GPU. Παρά τους περιορισμένους πόρους, οι ερευνητές κατάφεραν να εκπαιδεύσουν με επιτυχία πολλά από τα μοντέλα, αν και χρειάστηκαν περισσότερο και έπρεπε να εφαρμόσουν πιο αποτελεσματικές μεθόδους. "Μπορούμε πραγματικά να χρησιμοποιήσουμε τις GPU που έχουμε περισσότερο και έτσι μπορούμε να αντισταθμίσουμε μερικές από τις διαφορές μεταξύ του τι έχει η βιομηχανία", λέει ο Kaufwal. "Είναι συναρπαστικό να βλέπετε ότι μπορείτε πραγματικά να εκπαιδεύσετε ένα μεγαλύτερο μοντέλο από ό, τι πολλοί άνθρωποι θα έπαιρναν, ακόμη και με περιορισμένους αριθμητικούς πόρους", λέει ο Ji -ung Lee, τα μοντέλα νευροεξιττίτη στο Πανεπιστήμιο του Saarland στο Saarbrücken της Γερμανίας. Προσθέτει ότι η μελλοντική εργασία θα μπορούσε να εξετάσει τις εμπειρίες των βιομηχανικών ερευνητών σε μικρές εταιρείες που επίσης καταπολεμούν την πρόσβαση σε αριθμητικούς πόρους. "Δεν συμβαίνει ότι όλοι όσοι έχουν πρόσβαση σε απεριόριστη υπολογιστική ισχύ λαμβάνουν πραγματικά αυτό", λέει. khandelwal, Α. et al. Preprint στο Arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).