Daju li AI modeli više originalnih ideja od istraživača?
Daju li AI modeli više originalnih ideja od istraživača?
Sustav generatora ideja vođen umjetnom inteligencijom (AI) razvio je više originalnijih istraživačkih pristupa u nedavnom propisu ARXIV-a od 50 znanstvenika koji su neovisno radili jedni o drugima
Ideje koje su generirali ljudi i AI procijenili su stručnjaci koji nisu znali tko ili što radi svaku ideju. Stručnjaci su ocijenili pojmove koji su generirani AI kao uzbudljivi u usporedbi s idejama koje su napisali ljudi, iako prijedlozi AI-a malo gore u smislu izvedivosti. Međutim, znanstvenici ističu da je studija, koja još nije recenzirana, ima ograničenja. Usredotočila se na određeno istraživačko područje i zahtijevala je od ljudskih sudionika da spontano razvijaju ideje, što vjerojatno narušava njihovu sposobnost stvaranja najboljih koncepata. Postoji
Jednogodišnji projekt jedan je od najvećih projekata za ocjenjivanje, bilo da su veliki jezični modeli-tehnologija koja stoji iza alata kao što je chatgpt -innovativna istraživanja, Tom Hope, računalni znanstvenik na AI u Jerusalemu. "Mora biti više posla", kaže on. Tim je regrutovao više od 100 istraživača u području obrade prirodnog jezika, pod -područja informatike koja se bavi komunikacijom između AI i ljudi. Devet -end sudionicima je naručeno da razviju ideje i formuliraju u roku od deset dana na temelju jedne od sedam tema. Kao poticaj, istraživači su dobili 300 dolara za svaku ideju, s bonusom od 1.000 dolara za pet najboljih ideja. Istodobno, istraživači su razvili generator ideja s Claude 3.5, LLM -om koji je Anthropic razvio u San Franciscu u Kaliforniji. Istraživači su zatražili od svog AI alata da pronađu relevantne članke o sedam istraživačkih tema putem Semantic Scholar-a, tražilice literature utemeljene na AI. Na temelju tih članaka, istraživači su zatražili od svojih agenata AI -ja da generiraju 4.000 ideja za svaku istraživačku temu i da procijene najoriginalnije. Zatim su istraživači nasumično dodijelili čovjeka i AI generirali ideje 79 stručnjaka koji su procijenili svaku ideju s obzirom na novosti, napetost, izvedivost i očekivanu učinkovitost. Kako bi osigurali da su kreativci ideja ostali nepoznati stručnjacima, istraživači su koristili drugi LLM za uređivanje obje vrste teksta tako da su stil pisanja i zvuk standardizirani bez promjene samih ideja. U prosjeku su stručnjaci ocijenili AI generirale ideje kao originalnije i uzbudljivije od ljudskih sudionika. Kada su gledali 4.000 ideja koje je proizveo LLM, istraživači su pronašli samo oko 200, što je zaista jedinstveno, što ukazuje na to da je AI postao manje originalan što je više ideja koju je stvorio. Kad su sudionici intervjuirali, većina je priznala da su njihove predane ideje prosječne samo u usporedbi s idejama proizvedenim u prošlosti. Rezultati pokazuju da LLM -ovi mogu lako generirati ideje od postojeće literature, kaže Cong Lu, istraživač za strojno učenje na Sveučilištu British Columbia u Vancouveru u Kanadi. Međutim, možete li nadmašiti najrazornije ljudske ideje, ostaje otvoreno pitanje. Daljnje ograničenje studije je da je uspoređene pisane ideje obradila LLM, što je promijenilo jezik i dužinu prijava, kaže Jevin West, znanstveni znanstvenik društvenih znanosti sa Sveučilišta u Washingtonu u Seattleu. Takve bi promjene mogle biti suptilne, jer su stručnjaci percipirali novost, dodaje. West dodaje da možda nije potpuno fer usporedba da se istraživači natječu protiv LLM -a koji mogu stvoriti tisuće ideja za nekoliko sati. "Morate usporediti jabuke s jabukama", kaže on. Si i njegovi kolege planiraju usporediti ideje koje generiraju AI s vodećim doprinosima konferencije kako bi bolje razumjeli kako LLMS rade u usporedbi s ljudskom kreativnošću. "Pokušavamo potaknuti zajednicu da razmisli više o tome kako bi trebala izgledati budućnost ako AI može preuzeti aktivniju ulogu u istraživačkom procesu", kaže on. Si, C., Yang, D. & Hashimoto, T. Preprint na arxiv https://doi.org/10.48550/arxiv.24109 (2024).
Umjetna inteligencija u znanosti
Ljudski stručnjak