Calcul la calculul AI: Oamenii de știință nu au acces la cipuri puternice pentru cercetarea lor
Calcul la calculul AI: Oamenii de știință nu au acces la cipuri puternice pentru cercetarea lor
Mulți oameni de știință universitari sunt frustrați de performanța limitată de calcul, care pentru cercetările lor în domeniul (KI) este disponibil, ca sondaj în rândul academicienilor la zeci de instituții din întreaga lume.
Rezultatele 1 , care au fost publicate pe serverul de preprint arxiv cele mai avansate sisteme de calcul. Acest lucru ar putea afecta abilitatea dvs., modele vocale mari (llms)
In particular, academic researchers sometimes do not have the resources to make powerful Procesoare grafice (GPU) Pentru a fi achiziționate jetoane de calculator care sunt adesea folosite pentru a antrena modele AI și care pot costa câteva mii de dolari. În schimb, cercetătorii au bugete mai mari în companii mari de tehnologie și pot cheltui mai mult pentru GPU -uri. „Fiecare GPU adaugă mai multă putere”, spune co -autorul studiului Apoorv Khandelwal, un informatician la Brown University din Providence, Rhode Island. "În timp ce acești giganți industriali pot avea mii de GPU, academicienii pot avea doar câteva." "Diferența dintre modelele academice și industriale este mare, dar ar putea fi mult mai mică", spune Stella Biderman, directorul general al Eleutherai, un institut de cercetare AI non-profit din Washington DC. Cercetările cu privire la această inegalitate este „foarte importantă”, adaugă ea. Timpuri de așteptare lente Pentru a evalua resursele de calcul disponibile pentru academicieni, Khandelwal și colegii săi au examinat 50 de oameni de știință din 35 de instituții. Dintre respondenți, 66% și -au evaluat satisfacția cu puterea lor de calcul cu 3 sau mai puțin pe o scară de 5. „Nu sunt deloc mulțumiți”, spune Khandelwal. Universitățile au reglementări diferite pentru accesul la GPU. Unii ar putea avea un cluster central de calcul care este împărtășit de departamente și studenți, unde cercetătorii pot solicita timp GPU. Alte instituții ar putea cumpăra mașini care pot fi utilizate direct de către membrii laboratorului. Unii oameni de știință au raportat că trebuie să aștepte zile întregi pentru a avea acces la GPU și au observat că timpul de așteptare au fost deosebit de mari (a se vedea „Acceptarea resurselor de calcul”). Rezultatele ilustrează, de asemenea, inegalitățile globale în acces. De exemplu, un respondent a menționat dificultățile de a găsi GPU în Orientul Mijlociu. Doar 10% dintre respondenți au declarat că accesul la
metode eficiente Cercetătorii au examinat, de asemenea, modul în care academicienii ar putea folosi mai bine resurse de calcul mai puțin puternice. Ei calculează cât timp ar fi necesar pentru a antrena mai multe LLM -uri cu hardware cu un consum redus de resurse - între 1 și 8 GPU. În ciuda acestor resurse limitate, cercetătorii au reușit să instruiască cu succes multe dintre modele, deși a durat mai mult și au trebuit să aplice metode mai eficiente. "Putem folosi de fapt GPU -urile pe care le avem mai mult timp, și astfel putem compensa unele dintre diferențele dintre ceea ce are industrie", spune Kaufwal. "Este interesant să vezi că poți antrena de fapt un model mai mare decât ar lua mulți oameni, chiar și cu resurse aritmetice limitate", spune Ji -ung Lee, modelele de neuroexplicit de la Universitatea din Saarland din Saarbrücken, Germania. El adaugă că lucrările viitoare ar putea analiza experiențele cercetătorilor industriali din companii mici care combate și accesul la resurse aritmetice. „Nu este cazul în care toți cei care au acces la o putere de calcul nelimitată primesc de fapt acest lucru”, spune el. khandelwal, A. și colab. Preprint la Arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).