Kas AI -mudelid toodavad rohkem originaalseid ideid kui teadlased?
Kas AI -mudelid toodavad rohkem originaalseid ideid kui teadlased?
Tehisintellekti (AI) juhitud ideede generaatorisüsteem on hiljutises ARXIV-is välja töötanud originaalsemad uurimismeetodid kui 50 teadlast, kes töötasid üksteisest sõltumatult
Inimeste ja AI loodud ideid hindasid eksperdid, kes ei teadnud, kes või mis iga idee tegi. Eksperdid hindasid AI-genereeritud mõisteid põnevaks võrreldes inimeste kirjutatud ideedega, ehkki AI ettepanekud teevad teostatavuse osas pisut halvemini. Teadlased rõhutavad siiski, et uuringus, mida pole veel eelretsenseeritud, on piirangud. Ta keskendus konkreetsele uurimisvaldkonnale ja nõudis, et inimestel arendab ideid spontaanselt, mis tõenäoliselt kahjustab nende võimet toota parimaid mõisteid. Seal on
Üheaastane projekt on üks suuremaid hindamisprojekte, olgu need suured keelemudelid-tehnoloogia, näiteks Chatgpt -nnovatiivsed uuringute lähenemisviisid, Tom Hope, arvutiteadlane kõigis AI instituutides Jeruusalemis. "Tööd peab olema rohkem," ütleb ta. Meeskond värbas enam kui 100 teadlast looduslike keele töötlemise valdkonnas, mis on arvutiteaduse alapiirkond, mis tegeleb AI ja inimeste vahelise suhtluse. Üheksa osalejat telliti ideede väljatöötamiseks ja sõnastamiseks kümne päeva jooksul, tuginedes ühest seitsmest teemal. Stiimulina said teadlased iga idee eest 300 dollarit, mille boonus oli 1000 dollarit viie parima idee eest. Samal ajal töötasid teadlased välja Californias San Franciscos välja töötatud LLM -i Claude 3.5 -ga ideegeneraatori. Teadlased palusid nende AI-tööriistal leida AI-põhise kirjanduse otsingumootori semantilise teadlase kaudu asjakohaseid artikleid seitsme uurimistöö kohta. Nendele artiklitele tuginedes palusid teadlased oma AI agentidel genereerida iga uurimisteema jaoks 4000 ideed ja hinnata kõige originaalsemaid. Seejärel määrasid teadlased juhuslikult inimese ja AI genereerisid ideid 79 eksperti, kes hindasid kõiki ideed seoses uudsuse, pinge, teostatavuse ja eeldatava tõhususe osas. Et tagada, et ideede loojad jäid ekspertidele teadmata, kasutasid teadlased mõlemat tüüpi teksti redigeerimiseks teist LLM -i, nii et kirjutamisstiil ja heli standardiseeriti ilma ideid ise muutmata. Eksperdid hindasid keskmiselt AI loodud ideid originaalsemaks ja põnevamaks kui inimese osalejate oma. LLM -i koostatud 4000 ideed vaadates leidsid teadlased vaid umbes 200, mis olid tõesti ainulaadsed, mis näitab, et AI sai vähem originaalseks, seda rohkem ideid see tekitas. Kui osalejad küsitlesid, tunnistas enamik, et nende esitatud ideed olid minevikus toodetud ideedega võrreldes ainult keskmised. Tulemused näitavad, et LLM -id võivad hõlpsalt ideid genereerida kui olemasolev kirjandus, ütles Kanadas Vancouveris Briti Columbia ülikooli masinõppe teadlane Cong Lu. See, kas suudate ületada kõige murrangulisemaid inimlikke ideid, on endiselt avatud küsimus. Uuringu edasiseks piiramiseks on see, et võrreldavaid kirjalikke ideid töötas LLM, mis muutis esildiste keelt ja pikkust, ütles Seattle'is Washingtoni ülikooli ühiskonnaõpetuse arvutiteadlane Jevin West. Sellised muudatused oleksid võinud olla peened, kuna eksperdid tajusid uudsust, lisab ta. West lisab, et see ei pruugi olla täiesti õiglane võrdlus, kui teadlased konkureerivad LLM -iga, mis võib mõne tunniga genereerida tuhandeid ideid. "Peate õunu õuntega võrrelda," ütleb ta. Si ja tema kolleegid plaanivad võrrelda AI-genereeritud ideid juhtivate konverentsi panustega, et saada paremini aru, kuidas LLM-id inimese loovusega võrreldes läheb. "Püüame stimuleerida kogukonda rohkem mõtlema, milline peaks tulevik välja nägema, kui AI saaks uurimisprotsessis aktiivsema rolli võtta," ütleb ta. Si, C., Yang, D. & Hashimoto, T. Eeltrükk arxivis https://doi.org/10.48550/arxiv.24109 (2024).
tehisintellekt teaduses
inimekspert