Ar Ai gali būti superžmogiškas? Aukščiausio žaidėjo bot defektai kelia abejonių

Veröffentlicht:

Von:

Forschung zeigt, dass selbst Superintelligenzen im Go-Spiel anfällig sind. Erfahren Sie, wie KI-Systeme wie KataGo gegen Angriffe kämpfen und welche Auswirkungen dies auf die Entwicklung von KI-Systemen haben könnte.
Tyrimai rodo, kad net „GO“ žaidimo priežiūras yra jautrus. Sužinokite, kaip AI sistemos, tokios kaip „Katago“, kovoja su išpuoliais ir kokį poveikį tai galėtų turėti AI sistemų plėtrai. (Symbolbild/natur.wiki)
<šaltinis type = "Vaizdas/webp" srcset = "https://media.nature.com/lw767/magazine-assets/d41586-02218-7/d41586-02218-7_27308012.jpg?astwebp 767w, https://media.nature.com/lw319/magazine-assets/d41586-02218-7/d41586-02218-7_27308012.jpg?as=webp 319w "dydžiai =" (max -width) 319px, (min-WIDTH: 1023px) 100vw, 767)

pasakoja apie Technology/ilya-sutske-openai-supperinttelligence.html" Data-Rack "Data-Label = „https://www.nytimes.com/2024/19/technology/ilya-sutske-openai-supperingengence.html“ Data-Rack-category = „Kūno teksto nuoroda“> Perteklinės dirbtinės intelekto (KI). Geriausi pasaulio žaidėjai rodo, kad toks pranašumas gali būti trapus

"Popierius palieka didelį klausimąsi apie tai, kaip galima pasiekti ambicingą tikslą, kad būtų galima sukurti patikimus AI realaus pasaulio agentus, kuriais žmonės gali pasitikėti",-sako Huanas Zhangas, Ilinojaus universiteto Urbana-Champay universiteto kompiuterių mokslininkas. Masačusetso technologijos instituto Kembridže kompiuterių mokslininkas Stephenas Casperis priduria: „Kol kas jis pateikė keletą stipriausių įrodymų, kad sunku įgyvendinti pažangius modelius taip patikimai, kaip norite“.

Analizė, kad birželio mėn Duomenų veiksmas = "Inkaro-Link" Data-Track Label = "Eikite į nuorodą" Data Track-Category = "Šaltiniai"> 1 ir dar nebuvo recenzuojama, naudoja AI sistemų įrašus Duomenų duomenys". = „Spustelėkite“ Data Action = „Anchor-Link“ Duomenų takelio etiketė = „Eik į nuorodą“ Duomenų takelio kategorija = “Šaltinio hatters (ir be rankos). Jos robotai rado silpnybių, kurios reguliariai nugalėjo Katagą, nors robotai kitaip nebuvo labai geri - žmonės mėgėjai galėjo juos nugalėti. Be to, žmonės galėjo suprasti ir pritaikyti „Bots“ triukus, kad nugalėtų Katago.

Katago išnaudojimas

Ar tai buvo unikalus dalykas, ar šis darbas parodė esminį Katago ir, plėtros, su kitomis AI sistemomis, turinčiomis akivaizdžiai superžmogiškų įgūdžių? Norėdami tai ištirti, tyrėjai, vadovaujami Adam Gleave, Far AI generalinio direktoriaus, ne pelno siekiančios tyrimų organizacijos Berkeley mieste, Kalifornijoje, ir 2022 m. Straipsnių bendraautorius nuo 2022 m. Norėdami patikrinti tris parinktis, ginti „go-kis“ nuo tokių atakų 1 Pirmoji gynyba buvo ta, kurią „Katago“ kūrėjai jau panaudojo po 2022 m. Išpuolių: „Katago“ žaidimo situacijų, dalyvavusių išpuoliuose, pavyzdžiai ir leido žaisti, kad išmoktų žaisti prieš šias situacijas. Tai panašu į tai, kaip paprastai mokė kelio. Tačiau naujausių dokumentų autoriai nustatė, kad prieštaringas pasiūlymas išmoko įveikti šią atnaujintą „Katago“ versiją ir laimėjo 91 % laiko.

Antroji gynybos strategija, kurią išbandė „Gleave“ komanda, buvo pakartotinė: išmokyti „Katago“ versiją prieš „ondversarielle Bots“, tada treniruotis užpuolikams prieš atnaujintą „Katago“ ir panašiai devyniems raundams. Bet tai taip pat nesukėlė nenugalimo „Katago“ versijos. Užpuolikai ir toliau rado trūkumų, o paskutinį ataką „Katago“ nugalėjo 81 % laiko.

Kaip trečioji gynybos strategija, tyrėjai nuo nulio išmokė naują GO-PLAY PLAY AI sistemą. „Katago“ yra pagrįstas skaičiavimo modeliu, žinomu kaip konvoliucinis nervų tinklas (CNN). Tyrėjai įtarė, kad CNN gali per daug sutelkti į vietines detales ir nepastebėti globalių modelių. Todėl jie sukūrė „Go“ grotuvą su alternatyvia

silpnas priešininkas

Visais šiais atvejais prieštaringos botai, nors jie sugebėjo įveikti „Katago“ ir kitus pirmaujančius gorinimo sistemas, išmokytus atrasti paslėptus kitų AIS silpnybes, o ne būti universaliais strategais. „Oponentai vis dar yra gana silpni - mes juos gana lengvai nugalėjome“, - sako Gleave.

Ir kadangi žmonės gali panaudoti prieštaringų robotų taktiką norėdami nugalėti pirmaujančius go-kis, ar prasminga vadinti šias sistemas antžmogiškus? „Tai puikus klausimas, su kuriuo aš tikrai kovojau“, - sako Gleave. "Mes pradėjome sakyti" Paprastai superžmogiškas ". Davidas Wu, Niujorko kompiuterių mokslininkas, pirmą kartą sukūręs „Katago“, sako, kad stiprūs go-kis yra „vidutiniškai superžmogiški“, bet ne „blogiausiais atvejais“.

GLEAVE sako, kad rezultatai gali turėti didelį poveikį AI sistemoms, įskaitant Didelės kalbos modeliai, pagrįsti pokalbių programomis, tokiomis kaip chatgpt . „Svarbiausias AI išvadas yra tas, kad šias silpnąsias vietas bus sunku pašalinti“, - sako Gleave. "Jei mes negalime išspręsti problemos tokioje paprastoje srityje kaip„ Go “, tada artimiausiu metu atrodo mažai perspektyvos - išspręsti panašias problemas, kaip„ Jailbreaks in Chatt “."

Tai, ką rezultatai reiškia galimybei sukurti AI, kuris plačiai viršija žmogaus įgūdžius, yra mažiau aiškūs, sako Zhang. "Nors tai paviršutiniškai rodo, kad žmonės vis tiek gali išlaikyti svarbius pažinimo pranašumus, palyginti su AI",-sako jis,-manau, kad esminės žinios yra ta, kad