Voiko AI olla yli -inhimillinen? Ylimmän pelaajan botin viat epäilykset

Von Natur.wiki Autoren-Team

Forschung zeigt, dass selbst Superintelligenzen im Go-Spiel anfällig sind. Erfahren Sie, wie KI-Systeme wie KataGo gegen Angriffe kämpfen und welche Auswirkungen dies auf die Entwicklung von KI-Systemen haben könnte.
Tutkimukset osoittavat, että jopa go -pelin superintelligenssi on herkkä. Selvitä, kuinka Katagon kaltaiset AI -järjestelmät taistelevat hyökkäyksiä vastaan ​​ja mitä vaikutuksia tällä voisi olla AI -järjestelmien kehittämiseen. (Symbolbild/natur.wiki)

puhuu Technology/ilya-sutske-openai-superintelligence.html" data-track "data-label = " Ihmispelaajat maailmassa-joka osoittaa, että tällainen paremmuus voi olla hauras. Tutkimus herättää kysymyksiä, voisiko yleisempiä AI

"paperi jättää suuren kysymysmerkin siitä, kuinka kunnianhimoinen tavoite voidaan saavuttaa rakentaakseen todellisen maailman kestäviä AI-edustajia, joihin ihmiset voivat luottaa", sanoo Illinoisin yliopiston Urbana-Champay -tietotekniikan tietoteknikko Huan Zhang. Cambridgen Massachusetts Institute of Technology Institute of Technology Institute -tekniikan Stephen Casper lisää: "Toistaiseksi se on tarjonnut vahvimpia todisteita siitä, että edistyneitä malleja on vaikea toteuttaa niin luotettavasti kuin haluat."

Analyysi, jonka kesäkuussa 1 ja sitä ei ole vielä vertaisarvioitu käyttää AI-järjestelmien merkintöjä Paikka, jonka tarkoituksena on houkutella järjestelmiä virheisiin , olipa kyse sitten tutkimustarkoituksista tai haitallisista tarkoituksista. Esimerkiksi tietyt merkinnät voivat "jailbreaks" chatbotit antamalla haitallisia tietoja, jotka sinun tulisi yleensä tukahduttaa.

Kun Go, kaksi pelaajaa vuorotellen sijoittavat mustavalkoiset kivet verkkoon ympäröimään ja kaappaamaan toisen pelaajan kiviä. Vuonna 2022 tutkijat ilmoittivat hylkäsivät Katago Ensimmäinen puolustus oli sellainen, jota Katago -kehittäjät olivat jo käyttäneet vuoden 2022 hyökkäyksen jälkeen: Katago -esimerkkejä pelitilanteista, jotka olivat mukana hyökkäyksissä, ja antoi sen pelata oppia pelaamaan näitä tilanteita vastaan. Tämä on samanlainen kuin se, kuten se yleensä opetti go. Viimeisimpien papereiden kirjoittajat havaitsivat kuitenkin, että vastustajatarjous oppi voittamaan tämän päivitetyn Katagon version ja voitti 91 % ajasta.

Toinen puolustusstrategia, jota Gleave -tiimi kokeili, oli iteratiivista: kouluttaa Katagon versiota Välimeren robotteja vastaan, sitten kouluttaa hyökkääjiä päivitettyä Katagoa vastaan ​​ja niin edelleen yhdeksän kierrosta. Mutta se ei myöskään johtanut voittamattomaan versioon Katagosta. Hyökkääjät löysivät edelleen heikkouksia, kun viimeinen hyökkäys Katago voitti 81 % ajasta.

Kolmantena puolustusstrategiana tutkijat kouluttivat uuden go-soittavan AI-järjestelmän tyhjästä. Katago perustuu Convolutional Neural Network (CNN) -nimiseen laskentamalliin. Tutkijat epäilivät, että CNN: t voisivat keskittyä liikaa paikallisiin yksityiskohtiin ja unohtaa globaalit mallit. Siksi he rakensivat GO-soittimen, jolla on vaihtoehto

heikko vastustaja

Kaikissa näissä tapauksissa vastustavat robotit-vaikka he pystyivät voittamaan Katagon ja muut johtavat go-leikkijärjestelmät-koulutettiin löytämään piilotettuja heikkouksia muissa AIS: ssä eikä ole monipuolisia strategioita. "Vastustajat ovat edelleen melko heikkoja - voitimme heidät melko helposti", Gleave sanoo.

Ja koska ihmiset pystyvät käyttämään kilpailevien robottien taktiikoita johtavien go-kIS: n voittamiseen, onko järkevää kutsua näitä järjestelmiä yli-inhimilliseksi? "Tämä on hieno kysymys, jonka kanssa olen ehdottomasti paini", Gleave sanoo. "Olemme alkaneet sanoa" tyypillisesti ylimääräistä "." New Yorkin tietoteknikko David Wu, joka kehitti ensin Katagon, sanoo, että vahvat go-kis ovat "keskimäärin ylimääräisiä", mutta eivät "pahimmassa tapauksessa".

Gleave sanoo, että tuloksilla voi olla kauaskantoisia vaikutuksia AI-järjestelmiin, mukaan lukien Suuret kielimallit, jotka perustuvat chatboteihin, kuten chatgpt . "AI: n tärkein havainto on, että näitä heikkoja kohtia on vaikea poistaa", Gleave sanoo. "Jos emme pysty ratkaisemaan ongelmaa yksinkertaisella alueella, kuten GO, niin näyttää siltä, ​​että lähitulevaisuudessa on vähän mahdollisuuksia ratkaista samanlaisia ​​ongelmia, kuten Chattin jailbreak."

Mitä tulokset tarkoittavat mahdollisuutta luoda AI, joka ylittää ihmisen taidot laajasti, on vähemmän selkeä, Zhang sanoo. "Vaikka tämä osoittaa pinnallisesti, että ihmiset voivat silti pitää tärkeitä kognitiivisia etuja AI: stä", hän sanoo, "mielestäni tärkeä tieto on, että