AI arvutite jagamine: teadlastel puudub juurdepääs oma uurimistöö võimsatele kiipidele

AI arvutite jagamine: teadlastel puudub juurdepääs oma uurimistöö võimsatele kiipidele

Paljud ülikooli teadlased on pettunud piiratud arvutusvõimsusest, mis on neile kättesaadav nende uurimistöö jaoks valdkonnas tehisintellekt (AI) on saadaval akadeemikute küsitlusena kümnetes asutustes kogu maailmas.

Tulemused 1, avaldatud 30. oktoobril Preprint Serveri Arxiv kohta, viitab sellele, et teadlastel puudub juurdepääs kõige arenenumatele arvutisüsteemidele. See võib mõjutada teie võimet Suured keelemudelid (LLMS) arendada ja läbi viia muid AI uurimisprojekte.

Eelkõige pole akadeemilistel teadlastel mõnikord ressursse, et olla võimsad Graafikaprotsessorid (GPUS) Ostmiseks - arvutikiipsid, mida tavaliselt kasutatakse AI mudelite koolitamiseks, mis võivad maksta mitu tuhat dollarit. Seevastu suurte tehnoloogiaettevõtete teadlastel on suurem eelarve ja nad saavad rohkem kulutada GPU -dele. "Iga GPU lisab rohkem jõudu," ütleb Rhode Islandi Providence'i Browni ülikooli arvutiteadlane uuringu kaasautor Apoorv Khandelwal. "Kuigi nendel tööstushiiglastel võivad olla tuhandeid GPU -sid, võib akadeemikutel olla vaid vähe."

"Akadeemiliste ja tööstusmudelite vahe on suur, kuid võib olla palju väiksem," ütleb Stella Biderman, Washingtoni DC mittetulundusühingu Eleutherai tegevdirektor. Selle ebavõrdsuse uurimine on "väga oluline", lisab ta.

Aeglased ooteajad

Akadeemikutele kättesaadavate arvutusressursside hindamiseks küsitlesid Khandelwal ja tema kolleegid 50 teadlast 35 asutusest. Küsitletud inimestest hindas 66% nende rahulolu oma arvutusvõimsusega 3 või vähem skaalal. "" Nad pole üldse rahul, "ütleb Khandelwal.

Ülikoolidel on GPU -dele juurdepääsu jaoks erinevad eeskirjad. Mõnel võib olla keskne arvutusklaster, mida jagatakse osakondade ja tudengite vahel, kus teadlased saavad GPU aega taotleda. Teised asutused saaksid osta masinaid, mida labori liikmed saavad otse kasutada.

Mõned teadlased teatasid, et GPU -dele juurdepääsu saamiseks on vaja oodata päevi, märkides, et ooteajad olid projekti tähtaegade ümber eriti kõrged (vt “Arvuta ressursside pudelikokk”). Tulemused rõhutavad ka juurdepääsu globaalset ebavõrdsust. Näiteks mainis üks vastaja Lähis -Idas GPU -de leidmise raskusi. Ainult 10% vastanutest ütles, et neil on juurdepääs Nvidia H100 GPU -d, omada võimsaid kiipe, mis on mõeldud AI -uuringuteks.

See barjäär muudab koolituseelse-suurte andmekogumite toitmise LLM-idesse-eriti keeruliseks. "See on nii kallis, et enamik teadlasi ei kaalu isegi teaduse tegemist koolitusel," ütleb Khandelwal. Tema ja ta kolleegid usuvad, et akadeemikud pakuvad AI -uuringutes ainulaadset vaatenurka ja et arvutusvõimsusele juurdepääsu puudumine võib uurimisvaldkonda piirata.

"Pikaajalise kasvu ja pikaajalise tehnoloogilise arengu jaoks on lihtsalt tervislik ja konkurentsivõimeline akadeemiline uurimiskeskkond," ütleb kaasautor Ellie Pavlick, kes uurib Browni ülikoolis arvutiteadust ja lingvistikat. "Kui teil on tööstuses uuringuid, on selged ärilised surved, mis mõnikord ahvatlevad teid kiiremini ära kasutama ja vähem uurima."

Tõhusad meetodid

Teadlased uurisid ka seda, kuidas akadeemikud saaksid vähem võimsaid arvutusressursse paremini kasutada. Nad arvutasid, kui palju aega oleks vaja mitu LLM-i, kasutades madala ressurssiga riistvara-vahemikus 1 kuni 8 GPU-d. Hoolimata nendest piiratud ressurssidest suutsid teadlased paljusid mudeleid edukalt koolitada, ehkki see võttis kauem aega ja nõudis, et nad kasutaksid tõhusamaid meetodeid.

"Saame tegelikult kasutada GPU -sid, mis meil on kauem, ja seega saame mõned erinevused tööstuse vahel siluda," ütleb Khandelwal.

"Põnev on näha, et saate tegelikult treenida suuremat mudelit, kui paljud inimesed ette kujutaksid, isegi piiratud arvutusressursside korral," ütleb Ji-Hong Lee, kes uurib Saarbrückenis Saarbrbron'is Saarbry ülikoolis Neuroexplicit mudeleid. Ta lisab, et tulevane töö võiks vaadata väikeste ettevõtete tööstusuuringute kogemusi, kes võitlevad ka ressursside juurdepääsuga. "See pole nii, nagu kõik, kellel on juurdepääs piiramatule arvutusvõimsusele, saavad selle tegelikult kätte," ütleb ta.

1. Khandelwal, A. jt. Eeltrükk aadressil arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).

Laadige alla viited