Laskelma AI -tietojenkäsittelyssä: Tutkijoilla ei ole pääsyä tehokkaisiin siruihin tutkimukselleen
Laskelma AI -tietojenkäsittelyssä: Tutkijoilla ei ole pääsyä tehokkaisiin siruihin tutkimukselleen
Monet yliopistotieteilijät ovat turhautuneita rajoitetusta tietotekniikan suorituskyvystä, joka heidän tutkimuksestaan (KI) on saatavana kyselynä kymmenien instituutioiden tutkijoiden keskuudessa maailmanlaajuisesti.
; Tämä voi vaikuttaa kykysi, Suuret äänimallit (LLMS) AI -tutkimusprojektit.Erityisesti akateemisilla tutkijoilla ei joskus ole resursseja tehdä tehokkaita Grafiikkaprosessorit (GPU) Ostettaviksi tietokoneen sirut, joita käytetään usein AI-mallejen kouluttamiseen ja voivat maksaa useita tuhansia dollareita. Sitä vastoin tutkijoilla on suurempia budjetteja suurissa teknologiayrityksissä ja he voivat käyttää enemmän GPU: lle. "Jokainen GPU lisää lisää valtaa", sanoo Apoorv Khandelwal -tutkimuksen toimittaja, Providence -saaren Brown Universityn tietotekniikan tietotekniikka. "Vaikka näillä teollisuusjättiläisillä voi olla tuhansia GPU: ta, tutkijoilla voi olla vain muutama."
"akateemisten ja teollisuusmallien välinen kuilu on suuri, mutta voi olla paljon pienempi", sanoo Washington DC: n voittoa tavoittelematon AI-tutkimuslaitos Eleutherai-toimitusjohtaja Stella Biderman. Tätä eriarvoisuutta koskeva tutkimus on "erittäin tärkeä", hän lisää.
hidas odotusajat
Akateemikoille käytettävissä olevien tietotekniikan resurssien arvioimiseksi Khandelwal ja hänen kollegansa tutkivat 50 tutkijaa 35 laitoksesta. Vastaajista 66% arvioi tyytyväisyytensä laskentavoimaan 3 tai vähemmän asteikolla 5. "He eivät ole ollenkaan tyytyväisiä", Khandelwal sanoo.
Yliopistoilla on erilaiset määräykset GPU: n saatavuudesta. Joillakin voi olla keskeinen laskentaklusteri, jonka osastot ja opiskelijat jakavat, missä tutkijat voivat pyytää GPU -aikaa. Muut laitokset voisivat ostaa koneita, joita laboratorion jäsenet voivat käyttää suoraan.
Jotkut tutkijat ilmoittivat, että heidän oli odotettava päiviä saadakseen pääsyä GPU: iin ja huomasivat, että odotusajat olivat erityisen korkeat (ks. "Laskentaresurssien hyväksyminen"). Tulokset kuvaavat myös pääsyn globaalia eriarvoisuutta. Esimerkiksi vastaaja mainitsi GPU: n löytämisen vaikeudet Lähi -idästä. Vain 10% vastaajista ilmoitti, että pääsy , voimakkaat sirut, jotka on kehitetty AI -tutkimukseen.
Tämä este tekee esisarjoa edeltävästä ja suurten tietorekisterien ruokinnasta LLMS-Paraticulaarisesti haastavassa. "Se on niin kallista, että useimmat tutkijat eivät edes harkitse tieteen tekemistä edeltävässä koulutuksessa", Kaufenwal sanoo. Hän ja hänen kollegansa ovat sitä mieltä, että akateemikot tarjoavat ainutlaatuisen näkökulman AI -tutkimuksessa ja että laskentavoiman saatavuuden puute voi rajoittaa tutkimuskenttää. "On yksinkertaisesti tärkeää, että sinulla on terve, kilpailukykyinen akateeminen tutkimusympäristö pitkän aikavälin kasvulle ja pitkäaikaiselle teknologiselle kehitykselle", sanoo co -author Ellie Pavlick, joka opiskelee tietotekniikkaa ja kielitiedettä Brownin yliopistossa. "Jos sinulla on tutkimusta teollisuudessa, on olemassa selkeä kaupallinen paine, joka joskus houkuttele sinua käyttämään ja tutkimaan vähemmän nopeammin." Tehokkaat menetelmät Tutkijat tutkivat myös, kuinka tutkijat voisivat paremmin käyttää vähemmän tehokkaita laskentaresursseja. He laskevat kuinka paljon aikaa tarvitaan useiden LLM: ien kouluttamiseen laitteistoilla, joilla on pieni resurssien kulutus - välillä 1 - 8 gp. Näistä rajoitetuista resursseista huolimatta tutkijat onnistuivat kouluttamaan monia malleja, vaikkakin se kesti kauemmin ja niiden oli sovellettava tehokkaampia menetelmiä. "Voimme tosiasiallisesti käyttää pidempään olevia GPU: ita, joten voimme kompensoida joitain eroja teollisuuden välillä", Kaufwal sanoo. "On mielenkiintoista nähdä, että voit tosiasiallisesti kouluttaa suuremman mallin kuin monet ihmiset ottaisivat, jopa rajoitetuilla aritmeettisilla resursseilla", sanoo Ji -Ung Lee, Saarlandin yliopistossa sijaitsevat neuroxplicite -mallit Saarbrückenissä, Saksassa. Hän lisää, että tulevassa työssä voisi tarkastella pienten yritysten teollisuustutkijoiden kokemuksia, jotka taistelevat myös aritmeettisten resurssien pääsyä. "Ei ole tilanne, että jokainen, jolla on pääsy rajoittamattomaan laskentavoimaan, todella saa tämän", hän sanoo. Khandelwal, A. et ai. Preprint at Arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).
Ra