Τα μοντέλα AI παράγουν περισσότερες πρωτότυπες ιδέες από τους ερευνητές;
Τα μοντέλα AI παράγουν περισσότερες πρωτότυπες ιδέες από τους ερευνητές;
Ένα σύστημα γεννήτριας ιδεών που οδηγείται από την τεχνητή νοημοσύνη (AI) έχει αναπτύξει περισσότερες πρωτότυπες ερευνητικές προσεγγίσεις σε ένα πρόσφατο στήριγμα για το ARXIV από 50 επιστήμονες που εργάζονταν ανεξάρτητα από το ένα το άλλο .
Οι ιδέες που δημιουργήθηκαν από τους ανθρώπους και το AI αξιολογήθηκαν από εμπειρογνώμονες που δεν γνώριζαν ποιος ή τι έκανε κάθε ιδέα. Οι εμπειρογνώμονες αξιολόγησαν τις έννοιες που δημιουργήθηκαν από την AI ως συναρπαστικές σε σύγκριση με τις ιδέες που έγραψαν οι άνθρωποι, αν και οι προτάσεις του AI κάνουν λίγο χειρότερες όσον αφορά τη σκοπιμότητα.
Ωστόσο, οι επιστήμονες επισημαίνουν ότι η μελέτη, η οποία δεν έχει ακόμη αξιολογηθεί, έχει περιορισμούς. Επικεντρώθηκε σε μια συγκεκριμένη ερευνητική περιοχή και απαιτούσε από τους ανθρώπινους συμμετέχοντες να αναπτύξουν αυθόρμητα τις ιδέες, γεγονός που πιθανώς εμποδίζει την ικανότητά τους να παράγουν τις καλύτερες έννοιες.
Τεχνητή νοημοσύνη στην επιστήμη
Υπάρχει , Έρευνα βιβλιογραφίας μπορεί να χρησιμοποιηθεί. Ωστόσο, ήταν δύσκολο να εκτιμηθεί εάν αυτά τα εργαλεία AI θα μπορούσαν να δημιουργήσουν νέες ερευνητικές προσεγγίσεις σε παρόμοιο επίπεδο με τους ανθρώπους. Αυτό οφείλεται στο γεγονός ότι η αξιολόγηση των ιδεών
Το ετήσιο έργο είναι ένα από τα μεγαλύτερα έργα για την αξιολόγηση, είτε τα μεγάλα γλωσσικά μοντέλα-η τεχνολογία πίσω από τα εργαλεία όπως το chatgpt "Πρέπει να υπάρχει περισσότερη δουλειά", λέει. Η ομάδα στρατολόγησε περισσότερους από 100 ερευνητές στον τομέα της επεξεργασίας φυσικής γλώσσας, μια υποταγή της επιστήμης των υπολογιστών που ασχολείται με την επικοινωνία μεταξύ AI και ανθρώπων. Εννέα συμμετέχοντες ανατέθηκαν να αναπτύξουν ιδέες και να διατυπώσουν εντός δέκα ημερών με βάση ένα από τα επτά θέματα. Ως κίνητρο, οι ερευνητές έλαβαν $ 300 για κάθε ιδέα, με ένα μπόνους $ 1.000 για τις πέντε καλύτερες ιδέες. Ταυτόχρονα, οι ερευνητές ανέπτυξαν μια γεννήτρια ιδεών με το Claude 3.5, ένα LLM που αναπτύχθηκε από το Anthropic στο Σαν Φρανσίσκο της Καλιφόρνια. Οι ερευνητές ζήτησαν από το εργαλείο του AI να βρουν σχετικά άρθρα σχετικά με τα επτά ερευνητικά θέματα μέσω του Semantic Scholar, μιας μηχανής αναζήτησης βιβλιογραφίας με βάση την AI. Με βάση αυτά τα άρθρα, οι ερευνητές ζήτησαν από τους πράκτορες της AI να δημιουργήσουν 4.000 ιδέες για κάθε ερευνητικό θέμα και να αξιολογήσουν τα πιο πρωτότυπα. Στη συνέχεια, οι ερευνητές αναχώρησαν τυχαία τους εμπειρογνώμονες του ανθρώπου και του AI που δημιούργησαν ιδέες 79 που αξιολόγησαν κάθε ιδέα σε σχέση με την καινοτομία, την ένταση, τη σκοπιμότητα και την αναμενόμενη αποτελεσματικότητα. Για να διασφαλιστεί ότι οι δημιουργοί των ιδεών παρέμειναν άγνωστοι στους εμπειρογνώμονες, οι ερευνητές χρησιμοποίησαν μια άλλη LLM για να επεξεργαστούν και τους δύο τύπους κειμένου έτσι ώστε το στυλ γραφής και ο ήχος να τυποποιούνται χωρίς να αλλάξουν τις ίδιες τις ιδέες. Κατά μέσο όρο, οι εμπειρογνώμονες αξιολόγησαν τις ιδέες που δημιούργησαν το AI ως πιο πρωτότυπες και πιο συναρπαστικές από αυτές των ανθρώπινων συμμετεχόντων. Όταν εξέτασε τις 4.000 ιδέες που παρήγαγε η LLM, οι ερευνητές βρήκαν μόνο περίπου 200, οι οποίες ήταν πραγματικά μοναδικές, πράγμα που δείχνει ότι το AI έγινε λιγότερο πρωτότυπο τόσο περισσότερες ιδέες που δημιούργησε. Όταν οι συμμετέχοντες συνέντευξη, οι περισσότεροι παραδέχτηκαν ότι οι ιδέες τους υποβλήθηκαν μόνο μέσες σε σύγκριση με τις ιδέες που παράγονται στο παρελθόν. Τα αποτελέσματα υποδεικνύουν ότι το LLMS μπορεί εύκολα να παράγει ιδέες από την υπάρχουσα βιβλιογραφία, λέει ο Cong Lu, ερευνητής για τη μηχανική μάθηση στο Πανεπιστήμιο της Βρετανικής Κολούμπια στο Βανκούβερ του Καναδά. Ωστόσο, αν μπορείτε να ξεπεράσετε τις πιο πρωτοποριακές ανθρώπινες ιδέες παραμένει ένα ανοιχτό ερώτημα. Περαιτέρω περιορισμός της μελέτης είναι ότι οι συγκριτικές γραπτές ιδέες υποβλήθηκαν σε επεξεργασία από ένα LLM, το οποίο άλλαξε τη γλώσσα και το μήκος των υποβολών, λέει ο Jevin West, επιστήμονας υπολογιστών κοινωνικών επιστημών στο Πανεπιστήμιο της Ουάσινγκτον στο Σιάτλ. Τέτοιες αλλαγές θα μπορούσαν να ήταν λεπτές, καθώς οι εμπειρογνώμονες αντιλήφθηκαν την καινοτομία, προσθέτει. Η West προσθέτει ότι μπορεί να μην είναι μια εντελώς δίκαιη σύγκριση για να έχουν οι ερευνητές να ανταγωνίζονται ένα LLM που μπορεί να δημιουργήσει χιλιάδες ιδέες σε λίγες ώρες. "Πρέπει να συγκρίνετε τα μήλα με τα μήλα", λέει. SI και οι συνάδελφοί του σχεδιάζουν να συγκρίνουν τις ιδέες που δημιουργούνται από την AI με κορυφαίες συνεισφορές των συνεισφορών, προκειμένου να κατανοήσουν καλύτερα τον τρόπο με τον οποίο οι LLMs σε σύγκριση με την ανθρώπινη δημιουργικότητα. "Προσπαθούμε να τονώσουμε την κοινότητα να σκεφτούμε περισσότερα για το τι πρέπει να μοιάζει με το μέλλον εάν η AI μπορεί να αναλάβει έναν πιο ενεργό ρόλο στην ερευνητική διαδικασία", λέει. si, c., yang, d. & hashimoto, t. preprint στο arxiv = "https://doi.org/10.48550/arxiv.2409.04109" data-track-track-track-track-track-lab "https://doi.org/10.48550/arxiv.2409.04109"> https://doi.org/10.48550/arxiv.24109 Ανθρώπινος εμπειρογνώμονας
(2024).