Tuottavatko AI -mallit enemmän alkuperäisiä ideoita kuin tutkijat?
Tuottavatko AI -mallit enemmän alkuperäisiä ideoita kuin tutkijat?
Ideoiden generaattorijärjestelmä, jota johtaa tekoäly (AI), on kehittänyt enemmän alkuperäisiä tutkimuslähestymistapoja äskettäisessä ARXIV-potkurissa kuin 50 tutkijaa, jotka työskentelivät toisistaan riippumattomasti 1 .
Ihmisten ja AI: n tuottamat ideat arvioivat asiantuntijat, jotka eivät tienneet kuka tai mikä teki jokaisen idean. Asiantuntijat arvioivat AI-generoituja käsitteitä jännittävänä verrattuna ihmisten kirjoittamiin ideoihin, vaikka AI: n ehdotukset tekevät hiukan huonommin toteutettavuuden suhteen.
Tutkijat kuitenkin huomauttavat, että tutkimuksella, jota ei ole vielä vertaisarvioitu, on rajoituksia. Hän keskittyi tiettyyn tutkimusalueeseen ja vaati ihmisen osallistujia kehittämään ideoita spontaanisti, mikä todennäköisesti heikentää heidän kykyään tuottaa parhaita käsitteitä.
tekoäly tieteessä
Siellä on Tutkimuksen ponnisteluja koskevassa ponnisteluissa HE-malleissa Tutkimustehtävien automatisointi, kuten Literatutkimus voidaan käyttää. Oli kuitenkin vaikea arvioida, voisiko nämä AI -työkalut tuottaa tuoretta tutkimuslähestymistapaa samanlaisella tasolla kuin ihmiset. Tämä johtuu siitä, että ideoiden
Yhden vuoden projekti on yksi suurimmista arviointia koskevista projekteista riippumatta siitä, onko suuria kielimalleja-tekniikan takana työkalujen, kuten Chatgpt -Invative Research -lähestymistavat, Tom Hope, tietotekniikan tietotekniikka kaikissa Jerusalemin instituutteissa. "Työtä on oltava enemmän", hän sanoo. Ryhmä rekrytoi yli 100 tutkijaa luonnollisen kielen käsittelyn alaan, tietotekniikan ala -alueen, joka käsittelee AI: n ja ihmisten välistä viestintää. Yhdeksään osallistujaa käskettiin kehittämään ideoita ja muotoilemaan kymmenen päivän kuluessa yhden seitsemästä aiheesta. Kannustimena tutkijat saivat 300 dollaria jokaisesta ideasta, ja bonus oli 1000 dollaria viidestä parhaasta ideasta.
Human Expert
Sitten tutkijat osoittivat satunnaisesti ihmisen ja AI: n tuotetut ideat 79 asiantuntijaa, jotka arvioivat jokaisen idean uutuuden, jännityksen, toteutettavuuden ja odotetun tehokkuuden suhteen. Jotta varmistetaan, että ideoiden luojat pysyivät asiantuntijoille tuntemattomia, tutkijat käyttivät toista LLM: ää muokatakseen molempia tekstityyppejä niin, että kirjoitustyyli ja ääni standardisoitiin muuttamatta ideoita itse.
Asiantuntijat arvioivat AI: n keskimäärin alkuperäisempiä ja mielenkiintoisempia kuin ihmisen osallistujien. Kun tarkasteltiin LLM: n tuottamia 4000 ideaa, tutkijat löysivät vain noin 200, jotka olivat todella ainutlaatuisia, mikä osoittaa, että AI: sta tuli vähemmän alkuperäisiä, mitä enemmän ideoita se syntyi.
Kun osallistujat haastattelivat, useimmat myönsivät, että heidän toimitetut ideansa olivat keskimääräisiä vain aikaisemmin tuotettuihin ideoihin.
Tulokset osoittavat, että LLM: t voivat helposti tuottaa ideoita kuin olemassa oleva kirjallisuus, sanoo Kanadan British Columbian yliopistossa sijaitsevan koneoppimisen tutkija Cong Lu Kanadassa. Pystytkö ylittämään eniten uraauurtavia ihmisen ideoita, on kuitenkin avoin kysymys.
Tutkimuksen lisärajoitus on, että verrattuja kirjallisia ideoita käsiteltiin LLM: llä, joka muutti väitteiden kieltä ja pituutta, sanoo Seattlen Washingtonin yliopiston yhteiskuntatieteelliset tietotekniikka Jevin West. Tällaiset muutokset olisivat voineet olla hienovaraisia, koska asiantuntijat havaitsivat uutuuden, hän lisää. West lisää, että se ei ehkä ole täysin oikeudenmukainen vertailu, että tutkijat kilpailevat LLM: ää, joka voi tuottaa tuhansia ideoita muutamassa tunnissa. "Sinun on verrattava omenoita omenoihin", hän sanoo.
Si ja hänen kollegansa suunnittelevat vertailevansa AI: n tuotettuja ideoita johtavien konferenssin panoksiin saadakseen paremman käsityksen siitä, miten LLM: t tekevät ihmisen luovuuteen verrattuna. "Yritämme kannustaa yhteisöä ajattelemaan enemmän siitä, miltä tulevaisuuden pitäisi näyttää, jos AI voi ottaa aktiivisemman roolin tutkimusprosessissa", hän sanoo.
-
Ra
Si, C., Yang, D. & Hashimoto, T. PrePrant at arxiv https://doi.org/10.48550/arxiv.24109 (2024).