ChatGPT gaat twee: hoe de AI-chatbot de levens van wetenschappers veranderde

ChatGPT gaat twee: hoe de AI-chatbot de levens van wetenschappers veranderde

In de twee jaar daarna Chat delenGPT aan het publiek gebruiken onderzoekers het om hun bevindingen te communiceren wetenschappelijke teksten verbeteren, de wetenschappelijke literatuur doornemen En Schrijf code om gegevens te analyseren. Terwijl sommigen geloven dat de chatbot, die op 30 november 2022 populair werd, verhoogt de productiviteit van wetenschappers, anderen zijn bang dat hij Plagiaat makkelijker gemaakt, introduceert onnauwkeurigheden in onderzoeksartikelen en verbruikt grote hoeveelheden energie.

De in Hoboken, New Jersey gevestigde uitgeverij Wiley ondervroeg in maart en april 1.043 onderzoekers over hun gebruik van generatieve AI-tools zoals ChatGPT en deelde de voorlopige resultaten met Nature. Tachtig procent van de respondenten gaf aan ChatGPT persoonlijk of professioneel te gebruiken, waardoor het de meest gebruikte tool onder academici is. Driekwart van de respondenten was van mening dat het de komende vijf jaar belangrijk zal zijn voor onderzoekers om AI-capaciteiten te ontwikkelen om hun werk te kunnen doen.

“AI-tekstverwerkers bestonden al eerder, maar er vond een belangrijke verschuiving plaats met de introductie van deze zeer krachtige grote taalmodellen”, legt James Zou uit, een AI-onderzoeker aan de Stanford University in Californië. De chatbot ChatGPT, ontwikkeld door het in San Francisco gevestigde technologiebedrijf OpenAI, was de katalysator voor deze verandering.

Ter gelegenheid van de tweede verjaardag van ChatGPT heeft Nature gebruiksgegevens verzameld en met wetenschappers gesproken over hoe ChatGPT het onderzoekslandschap heeft veranderd.

ChatGPT in cijfers

• 60.000: Die Mindestanzahl an wissenschaftlichen Arbeiten, die 2023 veröffentlicht wurden und voraussichtlich mit Hilfe eines großen Sprachmodells (LLM) verfasst wurden 1. Dies entspricht etwas mehr als 1 % aller Artikel in der von dem Forschungsteam untersuchten Dimensions-Datenbank akademischer Veröffentlichungen.
• 10 %: Der Mindestanteil der Forschungspapiere, die von Mitgliedern der biomedizinischen Gemeinschaft in der ersten Jahreshälfte 2024 veröffentlicht wurden und voraussichtlich ihre Abstracts mit Unterstützung eines LLM verfasst haben 2. Eine andere Studie schätzte diesen Anteil für die Informatikgemeinde im Februar sogar auf höhere 17.5 % 3.
• 6.5–16.9 %: Der geschätzte Anteil der Peer-Reviews, die 2023 und 2024 an einer Auswahl von Top-AI-Konferenzen eingereicht wurden und vermutlich erheblich von LLMs generiert wurden 4. Diese Bewertungen beurteilen Forschungspapiere oder Präsentationen, die für die Konferenzen vorgeschlagen werden.

Schrijfassistent

Al deze cijfers, die worden bepaald door het evalueren van patronen en trefwoorden in teksten die kenmerkend zijn voor LLM's, zijn waarschijnlijk conservatieve schattingen, zegt Debora Weber-Wulff, computerwetenschapper en plagiaatonderzoeker bij HTW Berlin. Uit hun werk blijkt dat detectietools vaak falen als het erom gaat te bepalen of een paper met behulp van AI is geschreven 5.

De afgelopen twee jaar hebben onderzoekers ontdekt dat het gebruik van ChatGPT om samenvattingen te maken, evenals subsidieaanvragen en steunbrieven voor studenten, hen in staat stelt zich te concentreren op complexe taken. “De dingen die onze tijd waard zijn, zijn de moeilijke vragen en de creatieve hypothesen”, zegt Milton Pividori, een medisch informaticus aan de University of Colorado School of Medicine in Aurora.

Onderzoekers melden dat LLM's bijzonder nuttig zijn bij het overwinnen van taalbarrières. “Het democratiseert het schrijven en helpt mensen voor wie Engels een tweede taal is”, legt Gabe Gomes uit, een scheikundige aan de Carnegie Mellon Universiteit in Pittsburgh, Pennsylvania. Uit een analyse gepubliceerd op de preprint-server SSRN voorafgaand aan peer review in november bleek dat de kwaliteit van het schrijven in papers door auteurs wier eerste taal niet het Engels is, verbeterde na de publicatie van ChatGPT, meer nog dan het schrijven van auteurs die vloeiend Engels spreken. 6.

Sinds de release in 2022 heeft ChatGPT verschillende upgrades ondergaan. GPT-4, gepubliceerd in maart 2023, maakte indruk op gebruikers met zijn vermogen om mensachtige teksten te genereren. Het nieuwste model, o1, die in september werd aangekondigd en beschikbaar voor sommige betalende klanten en voor bepaalde ontwikkelaars tijdens het testen, zegt OpenAI dat het “complexe taken kan analyseren en moeilijkere problemen kan oplossen dan eerdere modellen in de wetenschap, programmeren en wiskunde.” Kyle Kabasares, een datawetenschapper bij het Bay Area Environmental Research Institute in Moffett Field, Californië, gebruikte o1 om om een ​​code uit zijn doctoraatsproject te reproduceren. Toen hij de informatie uit het methodengedeelte van zijn onderzoekspaper invoerde, schreef het AI-systeem in slechts een uur code, waarvoor hij bijna een jaar van zijn studie had nodig gehad.

Beperkingen en potentieel

Eén gebied waarop ChatGPT en vergelijkbare AI-systemen minder succesvol zijn geweest, is het uitvoeren van literatuuronderzoek, zegt Pividori. “Ze helpen ons niet echt productiever te zijn”, legt hij uit, omdat een onderzoeker de relevante artikelen volledig moet lezen en begrijpen. “Als het artikel niet centraal staat in je onderzoek, kun je misschien AI-tools gebruiken om het samen te vatten”, voegt hij eraan toe. Maar het is aangetoond dat LLM's hallucineren 7 – dat wil zeggen: ze vormen informatie. Ze kunnen bijvoorbeeld praten over cijfers die niet eens in een artikel voorkomen.

Een andere zorg voor onderzoekers bij het gebruik van LLM's is gegevensbescherming. Wanneer wetenschappers bijvoorbeeld ongepubliceerde originele gegevens in een van deze AI-tools invoeren om een ​​paper te schrijven, bestaat het risico dat de inhoud zal worden gebruikt om bijgewerkte versies van deze modellen te trainen. “Dit zijn zwarte dozen”, legt Weber-Wulff uit. “Je hebt geen idee wat er gebeurt met de gegevens die je daar uploadt.”

Om dit risico te vermijden kiezen sommige onderzoekers voor kleinere, lokale modellen in plaats van ChatGPT. “Je voert het op je computer uit en er wordt niets extern gedeeld”, zegt Pividori. Hij voegt eraan toe dat bepaalde ChatGPT-abonnementen ervoor zorgen dat uw gegevens niet worden gebruikt om het model te trainen.

Een grote vraag waar onderzoekers het afgelopen jaar mee bezig zijn geweest, is of ChatGPT verder zal gaan dan de rol van een virtuele assistent een AI-wetenschapper kan zijn. Sommige vroege pogingen suggereren dat dit mogelijk is. Zou leidt de ontwikkeling van een virtueel laboratorium waarin verschillende LLM's de rol van wetenschappers in een interdisciplinair team op zich nemen, terwijl een menselijke wetenschapper feedback op hoog niveau geeft. “Ze werken samen om nieuwe onderzoeksprojecten te formuleren”, zegt hij. Vorige maand publiceerde Zou en zijn collega's de resultaten van een van deze projecten op de preprint-server bioRxiv voorafgaand aan peer review 8. Het virtuele laboratorium ontwierp nanobodies – een soort klein antilichaam – dat zich kan binden aan varianten van het SARS-CoV-2-coronavirus dat de COVID-19-pandemie veroorzaakte. Menselijke onderzoekers valideerden het werk door middel van experimenten en identificeerden twee veelbelovende kandidaten voor verder onderzoek.

Gomes en zijn collega's zijn ook enthousiast over de mogelijkheid om ChatGPT in het laboratorium te gebruiken. Zij gebruik het hulpmiddel om meerdere chemische reacties uit te voeren met behulp van een robotsysteem dat ze eind vorig jaar hebben ingezet. “De verwachting is dat deze modellen nieuwe wetenschap zullen kunnen ontdekken”, zegt Gomes.

1. Gray, A. Preprint op arXiv https://doi.org/10.48550/arXiv.2403.16887 (2024).

2. Kobak, D., González-Márquez, R., Horvát, E.-Á. & Lause, J. Preprint over arXiv https://doi.org/10.48550/arXiv.2406.07016 (2024).

3. Liang, W. et al. Voordruk op arXiv https://doi.org/10.48550/arXiv.2404.01268 (2024).

4. Liang, W. et al. Voordruk op arXiv https://doi.org/10.48550/arXiv.2403.07183 (2024).

5. Weber-Wulff, D. et al. Int. J. Educ. Integreer. 19, 26 (2023).

   Artikel
   PubMed
   
   Google Scholar

6. Liang, Y., Yang, T. & Zhu, F. Preprint op SSRN https://doi.org/10.2139/ssrn.4992755 (2024).

7. Farquhar, S. et al. Natuur 630, 625–630 (2024).

   Artikel
   PubMed
   
   Google Scholar

8. Swanson, K., Wu, W., Bulaong, N.L., Pak, J.E. & Zou, J. Preprint op bioRxiv https://doi.org/10.1101/2024.11.11.623004 (2024).

Referenties downloaden