Calcolo presso AI Computing: gli scienziati non hanno accesso a potenti chip per la loro ricerca
Calcolo presso AI Computing: gli scienziati non hanno accesso a potenti chip per la loro ricerca
Molti scienziati universitari sono frustrati dalle prestazioni di calcolo limitate, che per le loro ricerche nel campo di (KI) è disponibile, come sondaggio tra accademici di dozzine di istituzioni in tutto il mondo.
I risultati 1 , che sono stati pubblicati sul server preprint arxiv più avanzati i sistemi di calcolo più avanzati. Ciò potrebbe influire sulla tua capacità,
In particolare, i ricercatori accademici a volte non hanno le risorse per rendere potenti Processori grafici (GPU) da acquistare chip di computer che vengono spesso utilizzati per formare i modelli di intelligenza artificiale e possono costare diverse migliaia di dollari. Al contrario, i ricercatori hanno budget più elevati nelle grandi aziende tecnologiche e possono spendere di più per le GPU. "Ogni GPU aggiunge più potere", afferma il co -autore dello studio Apoorv Khandelwal, un informatico presso la Brown University di Providence, nel Rhode Island. "Mentre questi giganti industriali possono avere migliaia di GPU, gli accademici possono averne solo alcune". "Il divario tra i modelli accademici e industriali è grande, ma potrebbe essere molto più piccolo", afferma Stella Biderman, amministratore delegato di Eleutherai, un istituto di ricerca sull'intelligenza artificiale senza scopo di lucro a Washington DC. La ricerca su questa disuguaglianza è "molto importante", aggiunge. tempi di attesa lenti Al fine di valutare le risorse informatiche disponibili per gli accademici, Khandelwal e i suoi colleghi hanno intervistato 50 scienziati di 35 istituzioni. Degli intervistati, il 66% ha valutato la propria soddisfazione per la propria potenza di calcolo con 3 o meno su una scala di 5. "Non sono affatto soddisfatti", afferma Khandelwal. Le università hanno regolamenti diversi per l'accesso alle GPU. Alcuni potrebbero avere un cluster di calcolo centrale che è condiviso da dipartimenti e studenti, in cui i ricercatori possono richiedere tempo alla GPU. Altre istituzioni potrebbero acquistare macchine che possono essere utilizzate direttamente dai membri del laboratorio. Alcuni scienziati hanno riferito di aver dovuto aspettare giorni per accedere alle GPU e hanno notato che i tempi di attesa erano particolarmente elevati (vedi "accettazione delle risorse di calcolo"). I risultati illustrano anche le disuguaglianze globali nell'accesso. Ad esempio, un intervistato ha menzionato le difficoltà di trovare GPU in Medio Oriente. Solo il 10% degli intervistati ha dichiarato che l'accesso a , potenti chip che sono stati sviluppati per la ricerca di intelligenza artificiale.
Questa barriera rende il processo di pre-allenamento, l'alimentazione di record di dati di grandi dimensioni in LLMS in particolare. "È così costoso che la maggior parte degli accademici non considera nemmeno di fare scienza nel pre-allenamento", afferma Kaufenwal. Lui e i suoi colleghi sono dell'opinione che gli accademici offrano una prospettiva unica nella ricerca AI e che la mancanza di accesso al potere informatico potrebbe limitare il campo della ricerca. "È semplicemente importante avere un ambiente di ricerca accademica sana e competitiva per una crescita a lungo termine e uno sviluppo tecnologico a lungo termine", afferma il co -autore Ellie Pavlick, che studia informatica e linguistica alla Brown University. "Se hai ricerche nell'industria, c'è una chiara pressione commerciale, che a volte ti tenta di usare ed esplorare meno più velocemente." Metodi efficienti I ricercatori hanno anche esaminato come gli accademici potrebbero usare meglio risorse di elaborazione meno potenti. Calcolano quanto tempo sarebbe necessario per formare diversi LLM con hardware con basso consumo di risorse - tra 1 e 8 GPU. Nonostante queste risorse limitate, i ricercatori sono riusciti a formare con successo molti dei modelli, sebbene ci sia voluto più tempo e hanno dovuto applicare metodi più efficienti. "Possiamo effettivamente usare le GPU che abbiamo più a lungo, e quindi possiamo compensare alcune delle differenze tra ciò che ha l'industria", afferma Kaufwal. "È eccitante vedere che puoi effettivamente addestrare un modello più grande di quanto molte persone prendono, anche con risorse aritmetiche limitate", afferma Ji -ung Lee, i modelli di neuroexplicite dell'Università di Saarland a Saarbrücken, in Germania. Aggiunge che il lavoro futuro potrebbe esaminare le esperienze dei ricercatori industriali in piccole aziende che combattono anche l'accesso alle risorse aritmetiche. "Non è il caso che tutti coloro che abbiano accesso a una potenza di calcolo illimitata ricevano effettivamente questo", afferma. KHandelwal, A. et al. Preprint su arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024). >