I modelli AI producono idee più originali rispetto ai ricercatori?

I modelli AI producono idee più originali rispetto ai ricercatori?

Un sistema di generatori di idee guidato dall'intelligenza artificiale (AI) ha sviluppato approcci di ricerca più originali in un recente sostegno su ARXIV a 50 scienziati che hanno lavorato indipendentemente l'uno dall'altro 1 .

Le idee generate da persone e AI sono state valutate da esperti che non sapevano chi o cosa avesse fatto ogni idea. Gli esperti hanno valutato i concetti generati dall'IA come un eccitante rispetto alle idee scritte dagli umani, sebbene le proposte dell'IA fanno un po 'peggio in termini di fattibilità.

Tuttavia, gli scienziati sottolineano che lo studio, che non è stato ancora sottoposto a revisione paritaria, ha restrizioni. Si è concentrata su un'area di ricerca specifica e ha richiesto ai partecipanti umani di sviluppare spontaneamente le idee, il che probabilmente compromette la loro capacità di produrre i migliori concetti.

Intelligenza artificiale nella scienza

C'è > , può essere usata . Tuttavia, è stato difficile valutare se questi strumenti di intelligenza artificiale potessero generare nuovi approcci di ricerca a un livello simile alle persone. Questo perché la valutazione delle idee Stanford University in California. "Il modo migliore per contestualizzare tali abilità è fare un confronto diretto", afferma SI.

Il progetto di un anno è uno dei più grandi progetti per la valutazione, sia che si tratti di modelli di linguaggio di grandi dimensioni, la tecnologia dietro strumenti come CHATGPT -Innovative Approcci di ricerca, Tom Hope, informatica di tutti gli istituti per Ai in Gerusalemme. "Ci deve essere più lavoro", dice.

Il team ha reclutato più di 100 ricercatori nel campo dell'elaborazione del linguaggio naturale, una sotto -area di informatica che si occupa della comunicazione tra intelligenza artificiale e umani. Sono stati commissionati nove partecipanti per sviluppare idee e formulare entro dieci giorni in base a uno dei sette argomenti. Come incentivo, i ricercatori hanno ricevuto $ 300 per ogni idea, con un bonus di $ 1.000 per le cinque migliori idee.

Allo stesso tempo, i ricercatori hanno sviluppato un generatore di idee con Claude 3.5, un LLM sviluppato da Antropic a San Francisco, in California. I ricercatori hanno chiesto al loro strumento AI di trovare articoli pertinenti sui sette argomenti di ricerca tramite Semantic Scholar, un motore di ricerca in letteratura basato sull'intelligenza artificiale. Sulla base di questi articoli, i ricercatori hanno chiesto ai loro agenti AI di generare 4.000 idee per ogni argomento di ricerca e di valutare quelli più originali.

esperto umano

Quindi i ricercatori hanno assegnato casualmente l'uomo e l'IA hanno generato idee 79 esperti che hanno valutato ogni idea in merito a novità, tensione, fattibilità e efficacia prevista. Per garantire che i creatori delle idee siano rimasti sconosciuti agli esperti, i ricercatori hanno utilizzato un altro LLM per modificare entrambi i tipi di testo in modo che lo stile di scrittura e il suono fossero standardizzati senza cambiare le idee stesse.

In media, gli esperti hanno valutato le idee hanno generato idee più originali e più eccitanti di quelle dei partecipanti umani. Quando guardavano le 4.000 idee prodotte da LLM, i ricercatori hanno trovato solo circa 200, che erano davvero unici, il che indica che l'IA è diventata meno originale, più idee ha generato.

Quando i partecipanti hanno intervistato, la maggior parte ha ammesso che le loro idee presentate erano solo nella media rispetto alle idee prodotte in passato.

I risultati indicano che LLMS può facilmente generare idee rispetto alla letteratura esistente, afferma Cong Lu, ricercatore per l'apprendimento automatico presso l'Università della British Columbia a Vancouver, in Canada. Tuttavia, se è possibile superare le idee umane più innovative rimane una domanda aperta.

Un'ulteriore restrizione dello studio è che le idee scritte confrontate sono state elaborate da un LLM, che ha cambiato la lingua e la durata delle presentazioni, afferma Jevin West, scienziato di informatica delle scienze sociali presso l'Università di Washington a Seattle. Tali cambiamenti avrebbero potuto essere sottili, poiché gli esperti hanno percepito la novità, aggiunge. West aggiunge che potrebbe non essere un confronto completamente giusto per avere ricercatori in competizione contro un LLM che può generare migliaia di idee in poche ore. "Devi confrontare le mele con le mele", afferma.

Si e i suoi colleghi prevedono di confrontare le idee generate dall'AI con i principali contributi della conferenza al fine di comprendere meglio il modo in cui gli LLM fanno rispetto alla creatività umana. "Cerchiamo di stimolare la comunità a pensare di più a come dovrebbe essere il futuro se l'IA può assumere un ruolo più attivo nel processo di ricerca", afferma.

>

1. si, C., yang, D. & Hashimoto, T. preprint su arxiv https://doi.org/10.48550/arxiv.24109 (2024).

Scarica riferimenti