A papírját egy AI modell kiképzésére használták? Valószínűleg

A papírját egy AI modell kiképzésére használták? Valószínűleg

Mindent, ami online elérhető, akár egy nyílt hozzáférésű tárolóban, vagy nem-már "meglehetősen" nagy hangmodellbe táplálkoztak-mondta Lucy Lu Wang, a seattle-i washingtoni egyetem AI kutatója. "És ha egy papírt már használtak képzési adatokként egy modellben, akkor a modell edzése után nincs módja annak, hogy eltávolítsuk ezt a papírt" - tette hozzá.

Hatalmas adatrekordok

LLM -eket hatalmas mennyiségű adatra képzik, amelyeket gyakran az internetről lecsökkentnek. Meghatározzák az edzési adatok gyakran milliárd hangszakaszának mintáit, az úgynevezett tokenek között, amelyek lehetővé teszik számukra a csodálatos folyadékkal rendelkező szövegek előállítását.

A generatív AI modellek arra támaszkodnak, hogy a mintákat ebből az adat tömegből szöveges, képek vagy számítógépes kódok kidolgozása céljából. Stefan Baack szerint a tudományos munka az LLM fejlesztői számára értékes, mivel hosszuk és "magas információs sűrűségük" - mondja, aki a kaliforniai San Francisco -i Mozilla Alapítvány AI képzési adatkészleteinek elemzését végzi.

Növekszik az a hajlam, hogy a magas színvonalú adatrekordok megvásárolják. This year the Financial Times has its material to the A Chatgpt-Developer Openai jövedelmező üzletben, valamint a Reddit online fórumban kínálja a Google-t. És mivel a tudományos kiadók valószínűleg az alternatívát munkájuk jogosulatlan skimmerének tekintik, "úgy gondolom, hogy több ilyen ügylet küszöbön áll" - mondja Wang.

Információs titkok

Nehéz bebizonyítani, hogy egy LLM egy bizonyos papírt használt-mondja Yves-Alexandre de Montjoye, az Imperial College London számítógépes tudósa. Az egyik lehetőség az, hogy a modell szokatlan mondattal szembesüljön egy szövegből, és ellenőrizze, hogy a kimenet megegyezik -e az eredeti következő szavakkal. Ha ez a helyzet, akkor ez jó jele annak, hogy a papír szerepel az edzőkészletben. Ha nem, ez nem azt jelenti, hogy a papírt nem használták - nem utolsósorban azért, mert a fejlesztők programozhatják az LLM -et, hogy kiszűrjék a válaszokat, hogy megbizonyosodjanak arról, hogy azok nem felelnek meg az edzési adatoknak túl szorosan. "Sokat igényel, hogy működjön" - mondja.

Egy másik eljárás annak ellenőrzésére, hogy az adatok szerepelnek -e az edzési adatkészletben, tagsági következtetési támadásnak nevezzük. Ez azon az elképzelésen alapul, hogy egy modell magabiztos a kiadásában, amikor lát valamit, amit korábban látott. A De Montjoyes Team kifejlesztette egy verzióját, amelyet Copyright Trap -nak hívtak az LLMS számára.

A csapda feltétele érdekében a csapat valószínű, de értelmetlen mondatokat generál, és egy műben rejtőzik, például fehér szöveget fehér alapon vagy egy olyan mezőben, amely a weboldalon nulla szélességként jelenik meg. Ha egy LLM -et "meglepő" egy fel nem használt kontrollkészlet -a zavart mérőszáma -több, mint a szövegben rejtett mondat ", a statisztikai bizonyítékok, amelyek szerint a csapdákat már korábban látták" -mondja.

Szerzői jogi kérdések

Még akkor is, ha lehetséges, hogy bebizonyíthatjuk, hogy egy LLM -et egy adott szövegre képzettek, nem világos, hogy mi fog történni ezután. A kiadók azt állítják, hogy a szerzői joggal védett szövegek használata az engedélyezés nélküli képzésben sérülésnek tekinthető. De egy jogi ellenérgű, hogy az LLMS nem másolja - az információtartalmat kivonja az összetörött képzési adatokból, és megtanult ismereteit új szöveg előállításához használja.

esetleg egy bírósági eljárás segíthet ennek tisztázásában. Egy folyamatban lévő amerikai tanácsadási törvényben, amely úttörő lehet, a New York Times Microsoft és a Chatgpt fejlesztője, Openai, a kaliforniai San Francisco -ban. Az újság azzal vádolja a vállalatokat, hogy újságírói tartalmukat engedély nélkül használják modelleik kiképzésére.

Sok akadémikus boldog, amikor munkájukat az LLMS képzési adatokba vonják be - különösen, ha a modellek pontosabbá válnak. "Személy szerint nem bánom, ha egy chatbot az én stílusomban ír" - mondja Baack. De elismeri, hogy szakmáját nem fenyegeti az LLM -ek, például más szakmák, például művészek és írók kiadásai.

Az egyes tudományos szerzőknek jelenleg kevés befolyása van, ha a cikk kiadója hozzáférést ad a szerzői joggal védett művekhez. Nincsenek megállapított eszközök a nyilvánosan elérhető cikkekhez a hitel hozzárendelésére vagy a szöveg használatára.

Néhány kutató, köztük de Montjoye, csalódott. "Szeretnénk LLM -eket, de még mindig akarunk valamit, ami tisztességes, és azt hiszem, még nem találtuk ki, hogy néz ki" - mondja.