¿Los modelos de IA producen más ideas originales que los investigadores?
¿Los modelos de IA producen más ideas originales que los investigadores?
Un sistema de generador de ideas impulsado por la inteligencia artificial (AI) ha desarrollado más enfoques de investigación originales en un accesorio reciente sobre ARXIV que 50 científicos que trabajaron independientemente entre sí
Las ideas generadas por las personas y la IA fueron evaluadas por expertos que no sabían quién o qué hicieron cada idea. Los expertos evaluaron los conceptos generados por la IA como un emocionante en comparación con las ideas escritas por los humanos, aunque las propuestas de la IA son un poco peor en términos de viabilidad. Sin embargo, los científicos señalan que el estudio, que aún no ha sido revisado por pares, tiene restricciones. Se centró en un área de investigación específica y requería que los participantes humanos desarrollaran las ideas espontáneamente, lo que probablemente perjudica su capacidad para producir los mejores conceptos. Hay Generar código y Investigación de literatura Se puede utilizar. Sin embargo, era difícil evaluar si estas herramientas de inteligencia artificial podrían generar nuevos enfoques de investigación a un nivel similar que las personas. This is because the evaluation of ideas is very subjective and requires specialists who son capaces de evaluarlos cuidadosamente, dice Chenglei SI, coautor del estudio y científico informático de la Universidad de Stanford en California. "La mejor manera de contextualizar tales habilidades es hacer una comparación directa", dice Si. The one-year project is one of the largest projects for evaluating, whether large language models-the technology behind tools such as Chatgpt -Enfoques de investigación innovativa, Tom Hope, informática de todos los institutos para IA en Jerusalén. "Debe haber más trabajo", dice. El equipo reclutó a más de 100 investigadores en el campo del procesamiento del lenguaje natural, un subárea de informática que se ocupa de la comunicación entre IA y humanos. Se encargaron los participantes de nueve y que desarrollaran ideas y formularan dentro de los diez días basados en uno de los siete temas. Como incentivo, los investigadores recibieron $ 300 por cada idea, con un bono de $ 1,000 por las cinco mejores ideas. Al mismo tiempo, los investigadores desarrollaron un generador de ideas con Claude 3.5, un LLM desarrollado por antrópico en San Francisco, California. Los investigadores solicitaron a su herramienta de inteligencia artificial que encontrara artículos relevantes sobre los siete temas de investigación a través de Semantic Scholar, un motor de búsqueda de literatura basado en IA. Según estos artículos, los investigadores pidieron a sus agentes de IA que generaran 4.000 ideas para cada tema de investigación y que evalúen los más originales. Luego, los investigadores asignaron al azar a los humanos y la IA generó ideas 79 expertos que evaluaron cada idea con respecto a la novedad, la tensión, la viabilidad y la efectividad esperada. Para garantizar que los creadores de las ideas permanecieran desconocidos para los expertos, los investigadores utilizaron otro LLM para editar ambos tipos de texto para que el estilo de escritura y el sonido se estandarizaran sin cambiar las ideas por sí mismas. En promedio, los expertos calificaron la IA generaron ideas como más originales y más emocionantes que la de los participantes humanos. Al observar las 4.000 ideas producidas por LLM, los investigadores encontraron solo unos 200, lo que era realmente único, lo que indica que la IA se volvió menos original cuantas más ideas generara. Cuando los participantes entrevistados, la mayoría admitió que sus ideas presentadas eran solo promedio en comparación con las ideas producidas en el pasado. Los resultados indican que los LLM pueden generar fácilmente ideas que la literatura existente, dice Cong Lu, investigador de aprendizaje automático en la Universidad de Columbia Británica en Vancouver, Canadá. Sin embargo, si puede superar las ideas humanas más innovadoras sigue siendo una pregunta abierta. Una restricción adicional del estudio es que las ideas escritas comparadas fueron procesadas por un LLM, que cambió el lenguaje y la duración de las presentaciones, dice Jevin West, científico informático de ciencias sociales de la Universidad de Washington en Seattle. Tales cambios podrían haber sido sutiles, como los expertos percibieron la novedad, agrega. West agrega que puede no ser una comparación completamente justa tener investigadores que compitan contra un LLM que puede generar miles de ideas en unas pocas horas. "Tienes que comparar manzanas con manzanas", dice. Si y sus colegas planean comparar ideas generadas por IA con las principales contribuciones de la conferencia para comprender mejor cómo lo hacen los LLM en comparación con la creatividad humana. "Tratamos de estimular a la comunidad a pensar más en cómo debería ser el futuro si la IA puede asumir un papel más activo en el proceso de investigación", dice. si, C., yang, D. & Hashimoto, T. Preprint en arxiv https://doi.org/10.48550/arxiv.24109 (2024).
Inteligencia artificial en la ciencia
Experto humano