Cálculo en AI Computing: los científicos no tienen acceso a chips poderosos para su investigación
Cálculo en AI Computing: los científicos no tienen acceso a chips poderosos para su investigación
Muchos científicos de la universidad están frustrados con el rendimiento informático limitado, que para su investigación en el campo de (KI) está disponible, como una encuesta entre académicos de docenas de instituciones en todo el mundo.
Los resultados 1 , que se publicaron en la falta de sistemas de computación más avanzados del servidor Preprint ARXIV. Esto podría afectar su capacidad, Modelos de voz grande (LLMS (LLMS (LLMS) y OTRO A OTROS A OTROS A OTROS A OTROS A OTROS MODECTOS DE VO VOZ (LLMS) y OTRO A OTROS A OTROS A OTROS MODECTOS DE VOLO) (OFT A OTROS A OTROS DEL ANLATO) A OTROS A OTROS MODECTUROS DE VO VOZ (LLMS). Proyectos de investigación de IA.
En particular, los investigadores académicos a veces no tienen los recursos para hacer potentes Procesadores de gráficos (GPU) Se comprarán chips de computadora que a menudo se usan para entrenar modelos de IA y pueden costar varios miles de dólares. Por el contrario, los investigadores tienen presupuestos más altos en grandes empresas de tecnología y pueden gastar más para las GPU. "Cada GPU agrega más potencia", dice el co -autor del estudio Apoorv Khandelwal, un científico informático de la Universidad de Brown en Providence, Rhode Island. "Si bien estos gigantes industriales pueden tener miles de GPU, los académicos solo pueden tener unos pocos".
"La brecha entre los modelos académicos e industriales es grande, pero podría ser mucho más pequeña", dice Stella Biderman, directora gerente de Eleutherai, un instituto de investigación de IA sin fines de lucro en Washington DC. La investigación sobre esta desigualdad es "muy importante", agrega.
tiempos de espera lentos
Para evaluar los recursos informáticos disponibles para académicos, Khandelwal y sus colegas encuestaron a 50 científicos de 35 instituciones. De los encuestados, el 66% evaluó su satisfacción con su poder informático con 3 o menos en una escala de 5. "No están satisfechos en absoluto", dice Khandelwal.
Las universidades tienen diferentes regulaciones para el acceso a las GPU. Algunos podrían tener un clúster de cómputo central compartido por departamentos y estudiantes, donde los investigadores pueden solicitar el tiempo de GPU. Otras instituciones podrían comprar máquinas que pueden ser utilizadas directamente por miembros del laboratorio.
Algunos científicos informaron que tenían que esperar días para obtener acceso a las GPU y notaron que los tiempos de espera eran particularmente altos (ver "aceptación de recursos de cálculo"). Los resultados también ilustran las desigualdades globales en el acceso. Por ejemplo, un encuestado mencionó las dificultades de encontrar GPU en el Medio Oriente. Solo el 10% de los encuestados declaró que el acceso a , poderosos chips que se desarrollaron para la investigación de IA.
Esta barrera hace que el proceso de pre-entrenamiento-la alimentación de grandes registros de datos en LLMS, particularmente desafiante. "Es tan costoso que la mayoría de los académicos ni siquiera están considerando hacer ciencia en la capacitación previa", dice Kaufenwal. Él y sus colegas opinan que los académicos ofrecen una perspectiva única en la investigación de IA y que la falta de acceso al poder informático podría restringir el campo de la investigación. "Es simplemente importante tener un entorno de investigación académica saludable y competitivo para un crecimiento a largo plazo y un desarrollo tecnológico a largo plazo", dice la co -autora Ellie Pavlick, quien estudia informática y lingüística en la Universidad de Brown. "Si tiene una investigación en la industria, hay una presión comercial clara, que a veces te tienta a usar y explorar menos rápido". métodos eficientes Los investigadores también examinaron cómo los académicos podrían usar mejor recursos informáticos menos potentes. Calculan cuánto tiempo se requeriría para entrenar varios LLM con hardware con bajo consumo de recursos, entre 1 y 8 GPU. A pesar de estos recursos limitados, los investigadores lograron capacitar con éxito muchos de los modelos, aunque tardó más y tuvieron que aplicar métodos más eficientes. "Podemos usar las GPU que tenemos más largas, por lo que podemos compensar algunas de las diferencias entre lo que tiene la industria", dice Kaufwal. "Es emocionante ver que en realidad puede entrenar un modelo más grande de lo que muchas personas tomarían, incluso con recursos aritméticos limitados", dice Ji -ung Lee, los modelos de neuroexplicitos en la Universidad de Saarland en Saarbrücken, Alemania. Agrega que el trabajo futuro podría analizar las experiencias de los investigadores industriales en pequeñas empresas que también luchan contra el acceso a los recursos aritméticos. "No es el caso que todos los que tienen acceso a un poder informático ilimitado realmente reciben esto", dice. khandelwal, A. et al. Preimpresión en arxiv https://doi.org/10.48550/arxiv.2410.23261 (2024).