Vai AI modeļi rada oriģinālākas idejas nekā pētnieki?
Vai AI modeļi rada oriģinālākas idejas nekā pētnieki?
Ideju ģeneratoru sistēma, kuru vada mākslīgais intelekts (AI), nesenajā arxiv prop ar arxiv ir izstrādājusi oriģinālākas pētniecības pieejas nekā 50 zinātnieki, kuri patstāvīgi strādāja viens no otra 1 .
Cilvēku un AI radītās idejas novērtēja eksperti, kuri nezināja, kas vai ko izdarīja katra ideja. Eksperti novērtēja AI ģenerētos jēdzienus kā aizraujošu salīdzinājumā ar cilvēkiem, kurus rakstījuši cilvēki, lai gan AI priekšlikumi ir nedaudz sliktāki attiecībā uz iespējamību.
Tomēr zinātnieki norāda, ka pētījumam, kas vēl nav bijis recenzēts, ir ierobežojumi. Viņa koncentrējās uz īpašu pētniecības jomu un prasīja, lai cilvēka dalībnieki spontāni attīstītu idejas, kas, iespējams, pasliktina viņu spēju radīt labākos jēdzienus.
Mākslīgais intelekts zinātnē
Ir Izgatavojot pūles, lai izpētītu, kā izpētīt, kā gūstot datus (LL. Pētniecības uzdevumu automatizācija, piemēram, literatūras pētījumi . Tomēr bija grūti novērtēt, vai šie AI rīki varētu radīt svaigas pētniecības pieejas līdzīgā līmenī kā cilvēkiem. Tas notiek tāpēc, ka ideju novērtēšana
Viena gada projekts ir viens no lielākajiem novērtēšanas projektiem neatkarīgi no tā, vai lieli valodu modeļi-tehnoloģija, kas ir aiz tādiem rīkiem kā Chatgpt -inovatīvas pētījumu pieejas, Toms Hope, datorzinātnieks visās AI institūtās Jeruzalemē. "Ir jābūt vairāk darba," viņš saka. Komanda pieņēma darbā vairāk nekā 100 pētniekus dabiskās valodas apstrādes jomā, datorzinātņu apakšnozarei, kas nodarbojas ar komunikāciju starp AI un cilvēkiem. Deviņiem dalībniekiem tika uzdots attīstīt idejas un formulēt desmit dienu laikā, pamatojoties uz vienu no septiņām tēmām. Kā stimuls pētnieki saņēma USD 300 par katru ideju, ar prēmiju 1000 USD par piecām labākajām idejām. Tajā pašā laikā pētnieki izstrādāja ideju ģeneratoru ar Claude 3.5, LLM, kuru izstrādāja Antropic Sanfrancisko, Kalifornijā. Pētnieki lūdza savu AI rīku atrast atbilstošus rakstus par septiņām pētniecības tēmām, izmantojot Semantic Scholar, AI bāzes literatūras meklētājprogrammu. Balstoties uz šiem rakstiem, pētnieki lūdza savus AI aģentus ģenerēt 4000 idejas par katru pētījumu tēmu un novērtēt oriģinālākās. Tad pētnieki nejauši piešķīra cilvēku un AI ģenerētās idejas 79 eksperti, kuri novērtēja katru ideju attiecībā uz jaunumu, spriedzi, iespējamību un paredzamo efektivitāti. Lai nodrošinātu, ka ideju veidotāji ekspertiem joprojām nav zināmi, pētnieki izmantoja citu LLM, lai rediģētu abus teksta veidus, lai rakstīšanas stils un skaņa tiktu standartizēti, nemainot pašas idejas. Vidēji eksperti novērtēja AI radītās idejas kā oriģinālākas un aizraujošākas nekā cilvēku dalībniekiem. Aplūkojot 4000 LLM radītās idejas, pētnieki atrada tikai apmēram 200, kas bija patiešām unikāli, kas norāda, ka AI kļuva mazāk oriģināls, jo vairāk ideju tas radīja. Kad intervētie dalībnieki, vairums atzina, ka viņu iesniegtās idejas bija tikai vidējas, salīdzinot ar iepriekš radītajām idejām. Rezultāti norāda, ka LLM var viegli radīt idejas nekā esošā literatūra, saka Kongs Lu, Mašīnmācības pētnieks Britu Kolumbijas universitātē Vankūverā, Kanādā. Tomēr tas, vai jūs varat pārspēt visnoderīgākās cilvēku idejas, joprojām ir atklāts jautājums. Papildu pētījuma ierobežojums ir tāds, ka salīdzinātās rakstiskās idejas apstrādāja LLM, kas mainīja iesniegumu valodu un ilgumu, saka Jevins Vests, Vašingtonas Universitātes Sietlā sociālo zinātņu datorzinātnieks. Šādas izmaiņas varēja būt smalkas, jo eksperti uztvēra jaunumu, viņš piebilst. Rietumi piebilst, ka tas, iespējams, nav pilnīgi taisnīgs salīdzinājums, ja pētnieki sacenšas ar LLM, kas dažu stundu laikā var radīt tūkstošiem ideju. "Jums jāsalīdzina āboli ar āboliem," viņš saka. Si un viņa kolēģi plāno salīdzināt AI ģenerētās idejas ar vadošajām konferences ieguldījumiem, lai iegūtu labāku izpratni par LLMS, salīdzinot ar cilvēku radošumu. "Mēs cenšamies stimulēt sabiedrību vairāk domāt par to, kā vajadzētu izskatīties nākotnei, ja AI var uzņemties aktīvāku lomu pētniecības procesā," viņš saka. si, C., Yang, D. & Hashimoto, T. Preprint pie arxiv https://doi.org/10.48550/arxiv.24109 (2024).
Cilvēka eksperts