Czy twój artykuł był używany do szkolenia modelu AI? Najprawdopodobniej

Eksperci twierdzą, że artykuł badawczy, który nie został jeszcze używany do szkolenia modelu dużego głosu, prawdopodobnie zostanie wkrótce użyty. Naukowcy badają techniczne możliwości dla autorów w celu ustalenia, czy ich treść jest używana.

Wszystko, co jest dostępne online-w repozytorium otwartego dostępu, czy też nie było już „dość” karmione modelem wielkiego głosu, mówi Lucy Lu Wang, badacz AI z University of Washington w Seattle. „A jeśli artykuł został już wykorzystany jako dane treningowe w modelu, nie ma sposobu na usunięcie tego artykułu po szkoleniu modelu” - dodaje.

Masowe rekordy danych

LLM są szkolone na temat ogromnych ilości danych, które często są odtłuszczane z Internetu. Określają wzorce między często miliardami sekcji głosowych w danych szkoleniowych, więc tokeny, które pozwalają im generować teksty z niesamowitym płynem.

Generatywne modele AI opierają się na przyjmowaniu wzorców z tych mas danych w celu wysyłania tekstów, obrazów lub kodu komputerowego. Prace naukowe są cenne dla programistów LLM ze względu na ich długość i „wysoką gęstość informacji”, mówi Stefan Baack, który przeprowadza analizę zestawów danych szkoleniowych AI w Mozilla Foundation w San Francisco w Kalifornii.

Rośnie tendencja do kupowania danych o wysokiej jakości. W tym roku Financial Times ma swój materiał do PubMed, są uważane za „bardzo popularne” źródła, chociaż artykuły w czasopismach wypłaty będą prawdopodobnie bezpłatnie odtłuszczone przez duże firmy technologiczne. „Zawsze szukasz takich informacji” - dodaje.

Trudno jest udowodnić, że LLM wykorzystał określony artykuł, mówi Yves-Alexandre de Montoye, informatyk z Imperial College London. Jedną z możliwości jest skonfrontacja z modelem z nietypowym zdaniem z tekstu i sprawdzenie, czy wyjście pasuje do następnych słów w oryginale. W takim przypadku jest to dobry znak, że papier jest zawarty w zestawie szkoleniowym. Jeśli nie, nie oznacza to, że artykuł nie został użyty - zwłaszcza dlatego, że programiści mogą zaprogramować LLM do filtrowania odpowiedzi, aby upewnić się, że nie pasują do danych treningowych zbyt ściśle. „Zajęło to wiele, aby to zadziałało” - mówi.

Kolejna procedura sprawdzania, czy dane są zawarte w zestawie danych szkoleniowych, nazywa się atakiem wnioskowania członkostwa. Opiera się to na pomyśle, że model jest pewny swojego wydania, gdy widzi coś, co widział wcześniej. Zespół De Montoyes opracował jego wersję o nazwie Copyright Trap dla LLMS.

Aby umieścić pułapkę, zespół generuje prawdopodobne, ale bezsensowne zdania i ukrywa się w pracy, na przykład jako biały tekst na białym tle lub w polu wyświetlanym na stronie internetowej jako zerowa szerokość. Jeśli LLM jest „zaskoczony” niewykorzystanym zestawem kontroli -miary jego zamieszania -więcej niż zdanie ukryte w tekście, „dowód statystyczny, że pułapki były wcześniej widziane”, mówi.

Pytania dotyczące praw autorskich

Nawet jeśli można było udowodnić, że LLM został wyszkolony na określonym tekście, nie jest jasne, co będzie dalej. Wydawcy twierdzą, że korzystanie z tekstów chronionych prawem autorskim podczas szkolenia bez licencji jest uważane za szkodę. Ale legalny kontr -argument mówi, że LLM nie kopiuje - wyodrębniają zawartość informacji z danych szkoleniowych, które są zmiażdżone i wykorzystują wyuczoną wiedzę do generowania nowego tekstu.

Prawdopodobnie postępowanie prawne może pomóc to wyjaśnić. W trwającym amerykańskim prawie konsultingowym, które może być pionierskie, New York Times Microsoft i deweloper Chatgpt, Openai, w San Francisco w Kalifornii. Gazeta oskarża firmy o korzystanie z treści dziennikarskiej bez zgody na szkolenie swoich modeli.

Wielu naukowców jest zadowolonych, gdy ich praca jest uwzględniona w danych szkoleniowych LLM - szczególnie jeśli modele stają się bardziej precyzyjne. „Osobiście nie mam nic przeciwko, jeśli chatbot pisze w moim stylu” - mówi Baack. Przyznaje jednak, że jego zawodowi nie jest zagrożony wydatkami LLM, podobnie jak inne zawody, takie jak artyści i pisarze.

Poszczególni autorzy naukowe mają obecnie niewielki wpływ, jeśli wydawca twojego artykułu sprzedaje dostęp do twoich dzieł chronionych prawem autorskim. Nie ma ustalonych środków dla publicznie dostępnych artykułów, aby przypisać kredyt lub wiedzieć, czy użyto tekstu.

Niektórzy badacze, w tym de Montoye, są sfrustrowani. „Chcemy LLM, ale nadal chcemy czegoś, co jest uczciwe, i myślę, że nie wymyśliliśmy jeszcze tego, jak to wygląda” - mówi.