Obliczenia w AI Computing: Naukowcy nie mają dostępu do potężnych układów do swoich badań
Obliczenia w AI Computing: Naukowcy nie mają dostępu do potężnych układów do swoich badań
Wielu naukowców uniwersyteckich jest sfrustrowanych ograniczonymi wynikami obliczeniowymi, które dla ich badań w dziedzinie (KI) jest dostępny, jako ankieta wśród naukowców z dziesiątek instytucji na całym świecie.
Wyniki 1 , które zostały opublikowane na serwerze PrePrint ARXIV najbardziej zaawansowane systemy komputerów. Może to wpłynąć na twoje zdolności, Duże modele głosowe (LLM) do rozwoju i obsługa i obsługa i obsługa i przenosić Projekty badawcze AI.
W szczególnościW szczególności naukowcy akademiccy czasami nie mają zasobów, aby stworzyć potężne Procesory graficzne (GPU) Do zakupu chipów komputerowych, które są często używane do szkolenia modeli AI i mogą kosztować kilka tysięcy dolarów. Natomiast naukowcy mają wyższe budżety w dużych firmach technologicznych i mogą wydać więcej na GPU. „Każdy procesor graficzny dodaje więcej mocy”, mówi CO -Autor badania Apoorv Khandelwal Study, informatyk z Brown University w Providence na Rhode Island. „Podczas gdy ci giganci przemysłowi mogą mieć tysiące procesorów GPU, naukowcy mogą mieć tylko kilka”.
„Różnica między modelem akademickim i przemysłowym jest duża, ale może być znacznie mniejsza”, mówi Stella Biderman, dyrektor zarządzający Eleutherai, non-profit AI Research Institute w Waszyngtonie. Dodaje, że badania nad tą nierównością są „bardzo ważne”.
powolne czasy oczekiwania
Aby ocenić dostępne zasoby komputerowe dla naukowców, Khandelwal i jego koledzy ankietowali 50 naukowców z 35 instytucji. Spośród respondentów 66% oceniło satysfakcję z siły obliczeniowej z 3 lub mniejszą w skali 5. „W ogóle nie są zadowoleni”, mówi Khandelwal.
Uniwersytety mają różne przepisy dotyczące dostępu do GPU. Niektórzy mogą mieć centralny klaster obliczeniowy, który jest udostępniany przez wydziały i studentów, w których naukowcy mogą żądać czasu GPU. Inne instytucje mogą kupować maszyny, które mogą być używane bezpośrednio przez członków laboratorium.
Niektórzy naukowcy poinformowali, że musieli czekać dni, aby uzyskać dostęp do GPU i zauważyli, że czasy oczekiwania są szczególnie wysokie (patrz „Akceptacja zasobów obliczeniowych”). Wyniki ilustrują również globalne nierówności w dostępie. Na przykład respondent wspomniał o trudnościach znalezienia GPU na Bliskim Wschodzie. Tylko 10% respondentów stwierdziło, że dostęp do nvidia's H100 gpus.com , potężne żetony, które zostały opracowane do badań AI.
Ta bariera powoduje, że proces wstępnego trenowania-karmienie dużych rekordów danych w LLMS-lekarnie trudnych. „Jest tak drogie, że większość naukowców nawet nie rozważa nauki podczas szkolenia wstępnego”, mówi Kaufenwal. On i jego koledzy są zdania, że naukowcy oferują wyjątkową perspektywę w badaniach AI i że brak dostępu do władzy obliczeniowej może ograniczyć dziedzinę badań.
„Ważne jest, aby mieć zdrowe, konkurencyjne środowisko badań akademickich dla długoterminowego wzrostu i długoterminowego rozwoju technologicznego”, mówi Co -autor Ellie Pavlick, która studiuje informatykę i językoznawstwo na Uniwersytecie Brown. „Jeśli masz badania w branży, istnieje wyraźna presja komercyjna, która czasami kusi cię do korzystania i eksplorowania mniej szybciej”.
wydajne metody
Naukowcy zbadali również, w jaki sposób naukowcy mogą lepiej wykorzystywać mniej potężne zasoby komputerowe. Obliczają, ile czasu będzie potrzebny na szkolenie kilku LLM ze sprzętem o niskim zużyciu zasobów - od 1 do 8 GPU. Pomimo tych ograniczonych zasobów naukowcom udało się z powodzeniem przeszkolić wiele modeli, chociaż trwało to dłużej i musieli zastosować bardziej wydajne metody.
„Możemy faktycznie użyć GPU, które mamy dłużej, abyśmy mogli zrekompensować niektóre różnice między tym, co ma przemysł”, mówi Kaufwal.
„To ekscytujące zobaczyć, że można naprawdę wyszkolić większy model niż wiele osób, nawet przy ograniczonych zasobach arytmetycznych”, mówi Ji -ng Lee, modele neuroeksplicytów na University of Saarland w Saarbrücken w Niemczech. Dodaje, że przyszłe prace mogą przyjrzeć się doświadczeniom badaczy przemysłowych w małych firmach, które również walczą o dostęp do zasobów arytmetycznych. „Nie jest tak, że każdy, kto ma dostęp do nieograniczonej siły obliczeniowej, faktycznie to otrzymuje” - mówi.