Divizia de calcul AI: oamenii de știință nu au acces la jetoane puternice pentru cercetarea lor

Divizia de calcul AI: oamenii de știință nu au acces la jetoane puternice pentru cercetarea lor

Mulți oameni de știință universitari sunt frustrați de puterea de calcul limitată de care le este de care se află pentru cercetarea lor în domeniul inteligenţă artificială (AI) este disponibil, ca sondaj al academicienilor la zeci de instituții de spectacole din întreaga lume.

Rezultatele 1, publicat pe 30 octombrie pe serverul de preprint arxiv, sugerează că academicienii nu au acces la cele mai avansate sisteme de calcul. Acest lucru ar putea afecta capacitatea ta de a Modele de limbaj mare (LLM) pentru a dezvolta și a efectua alte proiecte de cercetare AI.

În special, cercetătorii academici nu au uneori resursele pentru a fi puternice Procesoare grafice (GPU) Pentru a cumpăra - jetoane de computer utilizate în mod obișnuit pentru a antrena modele AI care pot costa câteva mii de dolari. În schimb, cercetătorii la companiile de tehnologie mari au bugete mai mari și pot cheltui mai mult pentru GPU -uri. „Fiecare GPU adaugă mai multă putere”, spune co-autorul studiului Apoorv Khandelwal, un informatician la Brown University din Providence, Rhode Island. „În timp ce acești giganți din industrie pot avea mii de GPU -uri, academicienii pot avea doar câteva.”

„Diferența dintre modelele academice și industriale este mare, dar ar putea fi mult mai mică”, spune Stella Biderman, director executiv al Eleutherai, un Institut de Cercetare AI nonprofit din Washington DC. Cercetarea acestei inegalitate este „foarte importantă”, adaugă ea.

Timpuri de așteptare lente

Pentru a evalua resursele de calcul disponibile pentru academicieni, Khandelwal și colegii săi au examinat 50 de oameni de știință din 35 de instituții. Dintre cei chestionați, 66% și -au evaluat satisfacția cu puterea lor de calcul ca 3 sau mai puțin pe o scară de 5. „Nu sunt deloc mulțumiți”, spune Khandelwal.

Universitățile au reglementări diferite pentru accesul la GPU. Unii ar putea avea un cluster central de calcul partajat între departamente și studenți în care cercetătorii pot solicita timp GPU. Alte instituții ar putea achiziționa mașini care pot fi utilizate direct de către membrii laboratorului.

Unii oameni de știință au raportat că au fost nevoiți să aștepte zile pentru a avea acces la GPU, menționând că timpii de așteptare au fost deosebit de mari în ceea ce privește termenele de proiect (a se vedea „Calculați blocaj de resurse”). Rezultatele evidențiază, de asemenea, inegalitățile globale în acces. De exemplu, un respondent a menționat dificultatea de a găsi GPU -uri în Orientul Mijlociu. Doar 10% dintre respondenți au spus că au acces la GPU -urile H100 NVIDIA, pentru a avea cipuri puternice concepute pentru cercetarea AI.

Această barieră face procesul de pre-instruire-hrănirea unor seturi de date mari în LLM-deosebit de provocatoare. „Este atât de scump încât majoritatea academicienilor nu iau în considerare nici măcar să facă știință în pre-instruire”, spune Khandelwal. El și colegii săi consideră că academicienii oferă o perspectivă unică în cercetarea AI și că lipsa accesului la puterea de calcul ar putea limita domeniul de cercetare.

„Este foarte important să avem un mediu de cercetare academic sănătos, competitiv pentru creșterea pe termen lung și dezvoltarea tehnologică pe termen lung”, spune coautorul Ellie Pavlick, care studiază informatică și lingvistică la Universitatea Brown. „Când aveți cercetări în industrie, există presiuni comerciale clare care vă tentează uneori să exploatați mai repede și să explorați mai puțin.”

Metode eficiente

Cercetătorii au examinat, de asemenea, modul în care academicienii ar putea folosi mai bine resursele de calcul mai puțin puternice. Ei au calculat cât timp ar fi necesar pentru a pregăti mai multe LLM-uri folosind hardware cu resurse mici-între 1 și 8 GPU-uri. În ciuda acestor resurse limitate, cercetătorii au reușit să instruiască cu succes multe dintre modele, deși a durat mai mult și le -a cerut să folosească metode mai eficiente.

„Putem folosi de fapt GPU -urile pe care le avem mai mult timp și astfel putem reduce unele dintre diferențele dintre ceea ce are industria”, spune Khandelwal.

„Este interesant să vezi că poți instrui de fapt un model mai mare decât ar imagina mulți oameni, chiar și cu resurse limitate de calcul”, spune J-Uung Lee, care studiază modele neuroexplicite la Universitatea Saarland din Saarbrücken, Germania. El adaugă că lucrările viitoare ar putea analiza experiențele cercetătorilor industriali de la companii mici care se luptă și cu accesul la resursele de calcul. „Nu este ca toți cei care au acces la o putere de calcul nelimitată o primesc de fapt”, spune el.

1. Khandelwal, A. și colab. Preprint la Arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).

Descărcați referințe