Kloof tussen AI-computers: Wetenschappers hebben geen toegang tot krachtige chips voor hun onderzoek

Kloof tussen AI-computers: Wetenschappers hebben geen toegang tot krachtige chips voor hun onderzoek

Veel universitaire wetenschappers zijn gefrustreerd door de beperkte rekenkracht waarover zij beschikken voor hun onderzoek op dit gebied kunstmatige intelligentie (AI) is beschikbaar, zo blijkt uit een onderzoek onder academici van tientallen instellingen wereldwijd.

De resultaten 1, gepubliceerd op 30 oktober op de preprint-server arXiv, suggereert dat academici geen toegang hebben tot de meest geavanceerde computersystemen. Dit kan van invloed zijn op uw vermogen om dit te doen grote taalmodellen (LLM's) om andere AI-onderzoeksprojecten te ontwikkelen en uit te voeren.

Vooral academische onderzoekers beschikken soms niet over de middelen om krachtig te zijn Grafische processors (GPU's) om te kopen – computerchips die gewoonlijk worden gebruikt om AI-modellen te trainen en die enkele duizenden dollars kunnen kosten. Onderzoekers bij grote technologiebedrijven hebben daarentegen grotere budgetten en kunnen meer uitgeven aan GPU's. “Elke GPU voegt meer kracht toe”, zegt co-auteur Apoorv Khandelwal, een computerwetenschapper aan de Brown University in Providence, Rhode Island. “Hoewel deze industriële reuzen misschien wel duizenden GPU’s hebben, hebben academici er misschien maar een paar.”

“De kloof tussen academische en industriële modellen is groot, maar zou veel kleiner kunnen zijn”, zegt Stella Biderman, uitvoerend directeur van EleutherAI, een non-profit AI-onderzoeksinstituut in Washington DC. Onderzoek naar deze ongelijkheid is ‘heel belangrijk’, voegt ze eraan toe.

Trage wachttijden

Om de computerbronnen te beoordelen die beschikbaar zijn voor academici, ondervroegen Khandelwal en zijn collega's 50 wetenschappers uit 35 instellingen. Van de ondervraagden beoordeelde 66% de tevredenheid over hun rekenkracht met een 3 of minder op een schaal van 5. “Ze zijn helemaal niet tevreden”, zegt Khandelwal.

Universiteiten hebben verschillende regels voor de toegang tot GPU's. Sommigen hebben mogelijk een centraal rekencluster dat wordt gedeeld door afdelingen en studenten, waar onderzoekers GPU-tijd kunnen aanvragen. Andere instellingen zouden machines kunnen aanschaffen die rechtstreeks door leden van het laboratorium kunnen worden gebruikt.

Sommige wetenschappers meldden dat ze dagen moesten wachten om toegang te krijgen tot GPU's, waarbij ze opmerkten dat de wachttijden bijzonder hoog waren rond de deadlines van projecten (zie "Comute Resource Bottleneck"). De resultaten benadrukken ook de mondiale ongelijkheid in toegang. Eén respondent noemde bijvoorbeeld de moeilijkheid om GPU's in het Midden-Oosten te vinden. Slechts 10% van de respondenten gaf aan hier toegang toe te hebben NVIDIA's H100 GPU's, om krachtige chips te hebben die zijn ontworpen voor AI-onderzoek.

Deze barrière maakt het proces van pre-training – het invoeren van grote datasets in LLM’s – bijzonder uitdagend. “Het is zo duur dat de meeste academici er niet eens aan denken om wetenschap te gaan studeren in de vooropleiding”, zegt Khandelwal. Hij en zijn collega's zijn van mening dat academici een uniek perspectief bieden op AI-onderzoek en dat een gebrek aan toegang tot rekenkracht het onderzoeksveld zou kunnen beperken.

"Het is gewoon heel belangrijk om een ​​gezonde, competitieve academische onderzoeksomgeving te hebben voor groei op de lange termijn en technologische ontwikkeling op de lange termijn", zegt co-auteur Ellie Pavlick, die informatica en taalkunde studeert aan de Brown University. “Als je onderzoek doet in de industrie, is er duidelijke commerciële druk die je soms verleidt om sneller te exploiteren en minder te onderzoeken.”

Efficiënte methoden

De onderzoekers onderzochten ook hoe academici beter gebruik konden maken van minder krachtige computerbronnen. Ze berekenden hoeveel tijd nodig zou zijn om meerdere LLM's vooraf te trainen met behulp van hardware met weinig middelen - tussen 1 en 8 GPU's. Ondanks deze beperkte middelen slaagden de onderzoekers erin veel van de modellen met succes te trainen, hoewel het langer duurde en ze efficiëntere methoden moesten gebruiken.

"We kunnen de GPU's die we hebben daadwerkelijk langer gebruiken, en zo kunnen we een aantal verschillen tussen wat de industrie heeft wegwerken", zegt Khandelwal.

“Het is opwindend om te zien dat je daadwerkelijk een groter model kunt trainen dan veel mensen zich zouden voorstellen, zelfs met beperkte computerbronnen”, zegt Ji-Ung Lee, die neuro-expliciete modellen bestudeert aan de Saarland Universiteit in Saarbrücken, Duitsland. Hij voegt eraan toe dat toekomstig werk zou kunnen kijken naar de ervaringen van industriële onderzoekers bij kleine bedrijven die ook worstelen met toegang tot computerbronnen. “Het is niet zo dat iedereen die toegang heeft tot onbeperkte rekenkracht die ook daadwerkelijk krijgt”, zegt hij.

1. Khandelwal, A. et al. Voordruk op arXiv https://doi.org/10.48550/arXiv.2410.23261 (2024).

Referenties downloaden