Calcul sur l'informatique de l'IA: les scientifiques n'ont pas accès à des puces puissantes pour leurs recherches
Calcul sur l'informatique de l'IA: les scientifiques n'ont pas accès à des puces puissantes pour leurs recherches
De nombreux scientifiques de l'université sont frustrés par les performances informatiques limitées, qui pour leurs recherches dans le domaine de (KI) est disponible, en tant qu'enquête parmi les universitaires dans des dizaines d'institutions du monde entier.
Les résultats 1 , qui ont été publiés sur les systèmes de calcul les plus avancés de pré-serveur PREPRINT ARXIV. Cela pourrait affecter votre capacité, Processeurs graphiques (GPU) à acheter des puces de compositeur qui sont souvent utilisées pour former des modèles d'IA et peuvent coûter plusieurs milliers de dollars. En revanche, les chercheurs ont des budgets plus élevés dans les grandes entreprises technologiques et peuvent dépenser plus pour les GPU. "Chaque GPU ajoute plus de puissance", explique le co-auteur de l'étude Apoorv Khandelwal, un informaticien de l'Université Brown à Providence, Rhode Island. "Bien que ces géants industriels puissent avoir des milliers de GPU, les universitaires ne peuvent en avoir que quelques-uns."
"L'écart entre les modèles académiques et industriels est important, mais pourrait être beaucoup plus petit", explique Stella Biderman, directrice générale d'Eleutherai, un institut de recherche sur l'IA à but non lucratif à Washington DC. La recherche sur cette inégalité est "très importante", ajoute-t-elle.
temps d'attente lent
Afin d'évaluer les ressources informatiques disponibles pour les universitaires, Khandelwal et ses collègues ont interrogé 50 scientifiques de 35 institutions. Parmi les répondants, 66% ont évalué leur satisfaction à l'égard de leur pouvoir de calcul avec 3 ou moins sur une échelle de 5. "Ils ne sont pas du tout satisfaits", explique Khandelwal.
Les universités ont des réglementations différentes pour accéder aux GPU. Certains pourraient avoir un cluster de calcul central partagé par les départements et les étudiants, où les chercheurs peuvent demander du temps GPU. D'autres institutions pourraient acheter des machines qui peuvent être utilisées directement par les membres du laboratoire.
Certains scientifiques ont rapporté qu'ils devaient attendre des jours pour avoir accès aux GPU et ont remarqué que les temps d'attente étaient particulièrement élevés (voir "Acceptation des ressources de calcul"). Les résultats illustrent également les inégalités globales de l'accès. Par exemple, un répondant a mentionné les difficultés de trouver des GPU au Moyen-Orient. Seulement 10% des répondants ont déclaré que l'accès à , puces puissantes qui ont été développées pour la recherche sur l'IA.
Cette barrière rend le processus de pré-formation - l'alimentation des grands enregistrements de données dans les LLMS difficiles. "Il est si cher que la plupart des universitaires n'envisagent même pas de faire de la science en pré-formation", explique Kaufenwal. Lui et ses collègues sont d'avis que les universitaires offrent une perspective unique dans la recherche sur l'IA et qu'un manque d'accès au pouvoir informatique pourrait restreindre le domaine de la recherche. "Il est tout simplement important d'avoir un environnement de recherche académique sain et compétitif pour une croissance à long terme et un développement technologique à long terme", explique le co-auteur Ellie Pavlick, qui étudie l'informatique et la linguistique à l'Université Brown. "Si vous avez des recherches dans l'industrie, il y a une pression commerciale claire, qui vous incite parfois à utiliser et à explorer moins rapidement." Méthodes efficaces Les chercheurs ont également examiné comment les universitaires pourraient mieux utiliser des ressources informatiques moins puissantes. Ils calculent combien de temps serait nécessaire pour former plusieurs LLM avec du matériel avec une faible consommation de ressources - entre 1 et 8 GPU. Malgré ces ressources limitées, les chercheurs ont réussi à former avec succès de nombreux modèles, bien qu'il ait pris plus de temps et ils ont dû appliquer des méthodes plus efficaces. "Nous pouvons réellement utiliser les GPU que nous avons plus longtemps, et nous pouvons donc compenser certaines des différences entre ce que l'industrie a", explique Kaufwal. "Il est excitant de voir que vous pouvez réellement former un modèle plus grand que beaucoup de gens ne prendraient, même avec des ressources arithmétiques limitées", explique Ji -ung Lee, les modèles neuroexplicites de l'Université de Saarland à Saarbrücken, en Allemagne. Il ajoute que les travaux futurs pourraient examiner les expériences des chercheurs industriels dans les petites entreprises qui luttent également sur l'accès aux ressources arithmétiques. "Ce n'est pas le cas que tous ceux qui ont accès à une puissance de calcul illimitée reçoivent en fait cela", dit-il. khandelwal, A. et al. Préimpression à Arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).