Ar AI modeliai sukuria daugiau originalių idėjų nei tyrėjai?

Ar AI modeliai sukuria daugiau originalių idėjų nei tyrėjai?

Idėjų generatoriaus sistema, kurią paskatino dirbtinis intelektas (AI), sukūrė daugiau originalių tyrimų metodų naujausiame „Arxiv“ atrama nei 50 mokslininkų, kurie dirbo nepriklausomai vienas nuo kito 1 .

Žmonių ir PG idėjas įvertino ekspertai, kurie nežinojo, kas ar ką padarė kiekviena idėja. Ekspertai įvertino AI sukurtas sąvokas kaip jaudinančias, palyginti su žmonių parašytomis idėjomis, nors AI pasiūlymai yra šiek tiek blogesni dėl galimybių.

Tačiau mokslininkai pabrėžia, kad tyrimas, kuris dar nebuvo recenzuotas, turi apribojimų. Ji sutelkė dėmesį į konkrečią tyrimų sritį ir reikalavo, kad žmonių dalyviai spontaniškai plėtos idėjas, o tai tikriausiai pablogina jų sugebėjimą sukurti geriausias sąvokas.

dirbtinis intelektas moksle

Yra . Tyrimo užduočių, tokių kaip , Literatūros tyrimai . Tačiau buvo sunku įvertinti, ar šios AI įrankiai gali generuoti naujus tyrimų metodus panašiu lygiu kaip ir žmonės. Taip yra todėl Specialistai, kurie sugeba juos atidžiai įvertinti, sako Chenglei SI, Kalifornijos Stanfordo universiteto tyrimo ir kompiuterių mokslininko bendraautorius. „Geriausias būdas kontekstualizuoti tokius įgūdžius yra tiesiogiai palyginti“, - sako Si.

Vienerių metų projektas yra vienas didžiausių projektų, skirtų įvertinti, nesvarbu, ar didelės kalbos modeliai yra technologijos, tokios kaip href = "https://www.nature.com/ "Https://www.nature.com/articles/d41586-024-01042-3" Data-Rack-category = "Kūno teksto nuoroda"> ChatGPT -inovaciniai tyrimų metodai, Tom Hope, kompiuterių mokslininkas visuose AI institutuose. „Turi būti daugiau darbo“, - sako jis.

Komanda įdarbino daugiau nei 100 tyrinėtojų natūralios kalbos apdorojimo srityje, informatikos sub -plote, susijusį su AI ir žmonių bendravimu. Devyniems dalyviams buvo pavesta kurti idėjas ir suformuluoti per dešimt dienų, remiantis viena iš septynių temų. Kaip paskata, tyrėjai už kiekvieną idėją gavo 300 USD, o už penkias geriausias idėjas - 1 000 USD premija.

Tuo pačiu metu tyrėjai sukūrė idėjų generatorių su Claude 3.5, LLM, kurį sukūrė antropic San Franciske, Kalifornijoje. Tyrėjai paprašė savo AI įrankio rasti svarbius straipsnius septyniomis tyrimų temomis per „Semantic Scholar“-AI pagrįstą literatūros paieškos variklį. Remdamiesi šiais straipsniais, tyrėjai paprašė savo AI agentų generuoti 4000 idėjų kiekvienai tyrimo temai ir įvertinti originaliausias.

Žmogaus ekspertas

Tada tyrėjai atsitiktine tvarka paskyrė žmogų ir AI sukūrė idėjas 79 ekspertai, kurie įvertino kiekvieną idėją, susijusią su naujove, įtampa, galimybėmis ir numatomu efektyvumu. Siekdami užtikrinti, kad idėjų kūrėjai ekspertams liko nežinomi, tyrėjai panaudojo dar vieną LLM, norėdami redaguoti abiejų tipų tekstą, kad rašymo stilius ir garsas būtų standartizuoti, patys nekeisdami idėjų.

Vidutiniškai ekspertai įvertino AI idėjas kaip originaliau ir įdomesnę nei žmonių dalyvių. Žvelgdami į LLM pateiktas 4000 idėjų, tyrėjai rado tik apie 200, kurie buvo tikrai unikalūs, o tai rodo, kad AI tapo mažiau originalios, tuo daugiau idėjų ji sukūrė.

Kai dalyviai apklausė, labiausiai pripažino, kad jų pateiktos idėjos buvo vidutiniškai tik palyginti su anksčiau pateiktomis idėjomis.

Rezultatai rodo, kad LLMS gali lengvai generuoti idėjas nei esama literatūra, sako Cong Lu, mašinų mokymosi tyrėjas Britanijos Kolumbijos universitete Vankuveryje, Kanadoje. Vis dėlto, ar galite aplenkti labiausiai novatoriškiausias žmogaus idėjas, išlieka atviras klausimas.

Tolesnis tyrimo apribojimas yra tas, kad palygintos rašytinės idėjos buvo apdorojamos LLM, kuri pakeitė pateikimo kalbą ir trukmę, sako Jevinas Westas, Socialinių mokslų kompiuterių mokslininkas Sietlo Vašingtono universitete. Jis priduria, kad tokie pokyčiai galėjo būti subtilūs, nes ekspertai suprato naujovę. Westas priduria, kad gali būti ne visiškai teisingas palyginimas, jei tyrėjai konkuruoja su LLM, kuris per kelias valandas gali sukelti tūkstančius idėjų. „Jūs turite palyginti obuolius su obuoliais“, - sako jis.

SI ir jo kolegos planuoja palyginti AI sukurtas idėjas su pagrindinėmis konferencijų indėliais, kad būtų galima geriau suprasti, kaip LLMS, palyginti su žmogaus kūrybiškumu. „Mes stengiamės skatinti bendruomenę daugiau galvoti apie tai, kaip turėtų atrodyti ateitis, jei AI gali imtis aktyvesnio vaidmens tyrimų procese“, - sako jis.

1. >

   si, C., Yang, D. & Hashimoto, T. Preprint at arxiv https://doi.org/10.48550/arxiv.24109 (2024).