Τα μοντέλα AI παράγουν περισσότερες πρωτότυπες ιδέες από τους ερευνητές;

Τα μοντέλα AI παράγουν περισσότερες πρωτότυπες ιδέες από τους ερευνητές;

Ένα σύστημα γεννήτριας ιδεών τεχνητής νοημοσύνης (AI) έχει αναπτύξει περισσότερες πρωτότυπες ερευνητικές προσεγγίσεις από 50 επιστήμονες που εργάζονται ανεξάρτητα σε ένα πρόσφατο preprint στο ARXIV 1.

Οι ιδέες που δημιουργήθηκαν από τον άνθρωπο και το AI αξιολογήθηκαν από κριτές που δεν γνώριζαν ποιος ή τι δημιούργησε κάθε ιδέα. Οι αναθεωρητές αξιολόγησαν τις έννοιες που δημιουργήθηκαν από το AI ως πιο συναρπαστικές σε σύγκριση με τις ιδέες που έχουν αυθεντικά από τον άνθρωπο, αν και οι προτάσεις του ΑΙ σημείωσαν ελαφρώς χαμηλότερες όσον αφορά τη σκοπιμότητα.

Ωστόσο, οι επιστήμονες επισημαίνουν ότι η μελέτη, η οποία δεν έχει ακόμη αξιολογηθεί, έχει περιορισμούς. Επικεντρώθηκε σε έναν συγκεκριμένο τομέα έρευνας και απαιτούσε από τους ανθρώπους να δημιουργούν αυθόρμητα ιδέες, γεγονός που πιθανώς εμπόδισε την ικανότητά τους να παράγουν τις καλύτερες έννοιες.

Τεχνητή νοημοσύνη στην επιστήμη

Υπάρχουν Αυξάνοντας τις φιλοδοξίες, για να διερευνηθεί πώς μπορούν να χρησιμοποιηθούν μεγάλα μοντέλα γλωσσών (LLMS) για την αυτοματοποίηση των ερευνητικών εργασιών όπως Γράφοντας άρθρα, Δημιουργία κώδικα και Έρευνα της λογοτεχνίας μπορεί να χρησιμοποιηθεί. Ωστόσο, ήταν δύσκολο να εκτιμηθεί εάν αυτά τα εργαλεία AI μπορούν να δημιουργήσουν νέες ερευνητικές προσεγγίσεις σε παρόμοιο επίπεδο με τους ανθρώπους. Αυτό οφείλεται στο γεγονός ότι η αξιολόγηση των ιδεών πολύ υποκειμενικός και απαιτεί ειδικούς που είναι σε θέση να τους αξιολογήσουν προσεκτικά, λέει ο Chenglei SI, συν-συγγραφέας της μελέτης και ένας επιστήμονας υπολογιστών στο Πανεπιστήμιο του Στάνφορντ στην Καλιφόρνια. "Ο καλύτερος τρόπος για να γίνουν συμφραζόμενες δυνατότητες είναι να γίνει μια σύγκριση δίπλα-δίπλα", λέει ο Si.

Το ετήσιο έργο είναι μια από τις μεγαλύτερες προσπάθειες για να αξιολογηθεί εάν τα μεγάλα μοντέλα γλωσσών - η τεχνολογία πίσω από εργαλεία όπως Chatgpt - Μπορεί να παράγει καινοτόμες ερευνητικές προσεγγίσεις, εξηγεί ο Tom Hope, ένας επιστήμονας υπολογιστών στο Ινστιτούτο ALEN για το AI στην Ιερουσαλήμ. "Πρέπει να υπάρξει περισσότερη δουλειά έτσι", λέει.

Η ομάδα στρατολόγησε περισσότερους από 100 ερευνητές στον τομέα της επεξεργασίας φυσικής γλώσσας, ενός κλάδου της επιστήμης των υπολογιστών που ασχολείται με την επικοινωνία μεταξύ ΑΙ και ανθρώπων. Σαράντα εννέα συμμετέχοντες είχαν την εντολή να αναπτύξουν και να διατυπώσουν ιδέες εντός δέκα ημερών με βάση ένα από τα επτά θέματα. Ως κίνητρο, οι ερευνητές έλαβαν $ 300 για κάθε ιδέα, με μπόνους $ 1.000 για τις πέντε πρώτες ιδέες.

Ταυτόχρονα, οι ερευνητές ανέπτυξαν μια γεννήτρια ιδεών χρησιμοποιώντας το Claude 3.5, ένα LLM που αναπτύχθηκε από το Anthropic στο Σαν Φρανσίσκο της Καλιφόρνια. Οι ερευνητές ζήτησαν από το εργαλείο τους AI να βρουν σχετικά άρθρα σχετικά με τα επτά ερευνητικά θέματα μέσω του σημασιολογικού μελετητή, μιας μηχανής αναζήτησης βιβλιογραφίας που τροφοδοτείται με AI. Με βάση αυτά τα άρθρα, οι ερευνητές ζήτησαν από τον πράκτορά τους AI να δημιουργήσει 4.000 ιδέες σε κάθε ερευνητικό θέμα και να αξιολογήσει τα πιο πρωτότυπα.

Ανθρώπινοι αξιολογητές

Στη συνέχεια, οι ερευνητές ανέθεσαν τυχαία τις ιδέες που δημιουργήθηκαν από τον άνθρωπο και το AI σε 79 αναθεωρητές, οι οποίοι αξιολόγησαν κάθε ιδέα για καινοτομία, ενθουσιασμό, σκοπιμότητα και αναμενόμενη αποτελεσματικότητα. Για να διασφαλιστεί ότι οι δημιουργοί των ιδεών παρέμειναν άγνωστοι στους αναθεωρητές, οι ερευνητές χρησιμοποίησαν ένα άλλο LLM για να επεξεργαστούν και τους δύο τύπους κειμένου, έτσι ώστε το στυλ γραφής και ο τόνος να τυποποιηθούν χωρίς να αλλάξουν τις ίδιες τις ιδέες.

Κατά μέσο όρο, οι αναθεωρητές αξιολόγησαν τις ιδέες που παράγονται από το AI ως πιο πρωτότυπες και συναρπαστικές από αυτές που γράφτηκαν από τους συμμετέχοντες στον άνθρωπο. Ωστόσο, όταν φαινόταν πιο προσεκτικά στις 4.000 ιδέες που παρήγαγαν η LLM, οι ερευνητές βρήκαν μόνο περίπου 200 που ήταν πραγματικά μοναδικά, υποδηλώνοντας ότι το AI έγινε λιγότερο πρωτότυπο όσο περισσότερες ιδέες που δημιούργησε.

Όταν η SI παρακολούθησε τους συμμετέχοντες, οι περισσότεροι παραδέχτηκαν ότι οι ιδέες που υπέβαλαν ήταν μόνο μέσες σε σύγκριση με τις ιδέες που παράγονται στο παρελθόν.

Τα αποτελέσματα υποδηλώνουν ότι το LLMS μπορεί εύκολα να παράγει περισσότερες πρωτότυπες ιδέες από την υπάρχουσα βιβλιογραφία, λέει ο Cong Lu, ερευνητής μηχανικής μάθησης στο Πανεπιστήμιο της Βρετανικής Κολούμπια στο Βανκούβερ του Καναδά. Ωστόσο, αν μπορούν να ξεπεράσουν τις πιο πρωτοποριακές ανθρώπινες ιδέες παραμένει ένα ανοιχτό ερώτημα.

Ένας άλλος περιορισμός της μελέτης είναι ότι οι γραπτές ιδέες που συγκρίθηκαν εκδόθηκαν από ένα LLM, το οποίο άλλαξε τη γλώσσα και το μήκος των υποβολών, λέει ο Jevin West, επιστήμονας ηλεκτρονικών υπολογιστών στο Πανεπιστήμιο της Ουάσινγκτον στο Σιάτλ. Τέτοιες αλλαγές μπορεί να έχουν επηρεάσει με λεπτό τρόπο τον τρόπο με τον οποίο οι αναθεωρητές αντιλήφθηκαν την καινοτομία, προσθέτει. Η Δύση προσθέτει ότι οι ερευνητές που βυθίζονται σε ένα LLM που μπορούν να δημιουργήσουν χιλιάδες ιδέες σε λίγες ώρες μπορεί να μην είναι μια εντελώς δίκαιη σύγκριση. "Πρέπει να συγκρίνετε τα μήλα με τα μήλα", λέει.

Ο Si και οι συνάδελφοί του σχεδιάζουν να συγκρίνουν τις ιδέες που δημιουργήθηκαν από την AI με τα κορυφαία έγγραφα των συνεδρίων για να κατανοήσουν καλύτερα τον τρόπο με τον οποίο συγκρίνονται η LLMS με την ανθρώπινη δημιουργικότητα. "Προσπαθούμε να ενθαρρύνουμε την κοινότητα να σκεφτεί βαθύτερα για το τι πρέπει να μοιάζει με το μέλλον όταν το AI μπορεί να αναλάβει πιο ενεργό ρόλο στην ερευνητική διαδικασία", λέει.

1. Si, C., Yang, D. & Hashimoto, Τ. Preprint στο Arxiv https://doi.org/10.48550/arxiv.2409.04109 (2024).

Αναφορές λήψης