Může být AI nadlidský? Vady v horním hráči Bot zvyšují pochybnosti

"Papír ponechává velký otazník o tom, jak lze dosáhnout ambiciózního cíle, aby se vybudovaly robustní agenty AI skutečného světa, kterému lidé mohou věřit," říká Huan Zhang, počítačový vědec na University of Illinois Urbana-Champay. Stephen Casper, počítačový vědec na Massachusetts Institute of Technology v Cambridge, dodává: „Dosud poskytuje některé z nejsilnějších důkazů, že je obtížné implementovat pokročilé modely tak spolehlivě, jak chcete.“

The analysis that in June 1 a dosud nebyl peer-recenzován, používá systémové položky AI Umístěte, aby bylo možné lákat systémy k chybám , ať už pro účely výzkumu nebo pro škodlivé účely. Například některé záznamy mohou chatboty „útěk z vězení“ vydáním škodlivých informací, které byste měli normálně potlačit.

Když se vydávají, dva hráči střídavě umístí černé a bílé kameny na mřížku, aby obklopili a zachytili kameny druhého hráče. V roce 2022 vědci informovali o Porazeno" 1

První obrana byla taková, kterou vývojáři Katago již použili po útocích 2022: Katago příklady herních situací, které byly zapojeny do útoků, a nechala ji hrát, aby se naučila, jak hrát proti těmto situacím. To je podobné tomu, jak to obecně vyučovalo. Autoři nejnovějších článků však zjistili, že kontradiktorní nabídka se naučila porazit tuto aktualizovanou verzi Katago a vyhrála 91 % času.

Druhá obranná strategie, kterou tým Gleave vyzkoušel, byla iterativní: trénovat verzi Katago proti Andversarielle Bots, poté trénovat útočníky proti aktualizovanému Katagu a tak dále na devět kol. Ale to však nevedlo k neporazitelné verzi Katago. Útočníci nadále hledali slabosti, s posledním útokem Katago porazil 81 % času.

Jako třetí strategie obrany vědci trénovali od nuly nový systém AI na hraní AI. Katago je založen na modelu výpočtu známého jako konvoluční neuronová síť (CNN). Vědci měli podezření, že CNN se mohou příliš soustředit na místní detaily a přehlížet globální vzorce. Proto postavili hráč Go s alternativou

Gleave říká, že výsledky by mohly mít dalekosáhlé účinky na AI systémy, včetně Velké jazykové modely, které jsou založeny na chatbotech, jako je chatgpt . „Nejdůležitějším zjištěním AI je, že tyto slabé body bude obtížné odstranit,“ říká Gleave. "Pokud nemůžeme problém vyřešit v jednoduché oblasti, jako je Go, zdá se, že v blízké budoucnosti je malá vyhlídka na řešení podobných problémů, jako jsou útěky z vězení v Chattovi."

Co výsledky znamenají pro možnost vytvoření AI, která rozsáhle přesahuje lidské dovednosti, je méně jasné, říká Zhang. „Ačkoli to povrchně naznačuje, že lidé mohou stále udržovat důležité kognitivní výhody oproti AI,“ říká, „myslím, že klíčovým znalostí je, že