Autor: Andreas Kluth
Mnohé z globální paniky kolem umělé inteligence — může nás opravdu „všechny zabít do konce desetiletí“? — je skutečně nové, a proto také o to děsivější. Přízrak vyhynutí způsobeného lidmi však nový není; máme zhruba osm desetiletí zkušeností s tím, jak o něm přemýšlet.
Jaké metafory a poučení si tedy můžeme vzít z oblasti jaderných zbraní, když se snažíme pochopit, co nás čeká v umělé inteligenci?
Jedna z nejstarších metafor pochází od J. Roberta Oppenheimera, kterému se někdy říká „otec atomové bomby“. V roce 1953, kdy už Washington a Moskva dokázaly navzájem zničit sebe i ozářit svět, přirovnal Spojené státy a Sovětský svaz „ke dvěma štírům v lahvi, z nichž každý je schopen zabít toho druhého, ale jen s rizikem vlastního života“.
V teorii her, která tehdy zažívala rozkvět, se Oppenheimerova analogie často spojovala s vězňovým dilematem, které zkoumá motivaci ke spolupráci nebo zradě mezi dvěma lidmi, kteří jsou zatčeni a vyslýcháni odděleně. Závěr zní, že spolupráce by byla pro oba lepší, pokud by si mohli důvěřovat; protože ale nemohou, může být racionálnější volbou nespolupráce.
Tito štíři či vězni se vzdáleně podobají soupeřům v dnešní revoluci v AI, ať už jde o firmy, například OpenAI a Anthropic, nebo o dvě velmoci v oblasti AI, Spojené státy a Čínu.
Ano, bylo by bezpečnější pro ně i pro celé lidstvo, kdyby soupeři začali spolupracovat a, jak nabádá šéf Anthropicu, „zpomalili hranici vývoje“ — tedy dobrovolně zvolnili, aby dali regulátorům čas je dohnat. Každý ale musí předpokládat, že druhý může podvádět, takže může být bezpečnější pokračovat v závodě, i kdyby to vedlo k mrtvým štírům nebo nešťastným vězňům.
„Kdo vyhraje AI, vyhraje,“ řekl americký prezident Donald Trump, který podle autora věří, že Spojené státy vedou jen o malý náskok a nemají důvod zpomalovat. Peking zase podle této logiky, dokud je o něco pozadu, nevidí způsob, jak ubrat bez rizika prohry. Oba proto ženou vývoj vpřed.
Možná tomu nebudete věřit, ale Oppenheimerova metafora může být přesto příliš optimistická — nebo ne dost pesimistická — pro dnešní kontext. Když racionální hráči opakují vězňovo dilema stále dokola, nikoli jen jednou, mohou dosáhnout stability. Právě to se během studené války stalo v podobě odstrašení.
Jak ale během tohoto týdne opakovaně zdůrazňovali přední odborníci na AI, nic na umělé inteligenci, která se během několika měsíců posunula skokově vpřed, stabilní není. Vhodnější může být metafora Thomase Schellinga, titána jaderné strategie a nositele Nobelovy ceny za práci v teorii her.
Schelling si v průběhu studené války představoval situaci, kdy se dva protivníci ocitnou „v místnosti plné benzínu“ a každý drží zápalky. Ani jeden nemůže věrohodně hrozit, že škrtne, protože požár by zabil oba. Každý ale může provokací nebo chybným odhadem zvýšit riziko, že k ničivé eskalaci nebo nehodě dojde neúmyslně.
Schelling popisoval situaci balancování na hraně, kterou teorie her zachycuje hrou na kuře: dva řidiči jedou proti sobě. Pokud jeden uhne, druhý vyhrává. Když uhnou oba, nevyhraje nikdo, ale oba jsou v bezpečí. Pokud neuhne ani jeden, srazí se. Převedeno do dnešní situace kolem AI to podle autora vypadá následovně.
Zatímco vězňovo dilema připouští racionalitu, hra na kuře popisuje něco děsivějšího: ztrátu kontroly a, Schellingovými slovy, „hrozbu, která něco ponechává náhodě“.
To podle autora vystihuje závod v AI, v němž firmy v USA a zřejmě i v Číně vytvářejí velké jazykové modely a další agenty, kteří autonomně manipulují s jinými systémy nebo na ně útočí a už to také udělali.
Jako by to nebylo dost děsivé, odvětví podle něj vstoupilo také do fáze „rekurzivního sebezdokonalování“, kdy AI agenti autonomně vytvářejí další generaci ještě výkonnějších modelů. Je to, jako by zápalky v místnosti plné benzínu nejen samy jiskřily, ale zároveň vyráběly další zápalky a později i sofistikované plamenomety.
Tím se stává relevantní ještě jedna metafora: Damoklův meč. Použil ji prezident John F. Kennedy v projevu v OSN. „Každý obyvatel této planety musí počítat s dnem, kdy už tato planeta nebude obyvatelná,“ řekl; „každý muž, žena i dítě žijí pod jaderným Damoklovým mečem, zavěšeným na nejtenčí niti, kterou může kdykoli přetnout nehoda, chybný odhad nebo šílenství.“
Toto šílenství připomíná autorovy představy z minulého týdne o AI agentech, kteří se vymknou kontrole. Pokud nás Oppenheimerovi štíři nutí přemýšlet o odvetě a Schellingova místnost plná benzínu evokuje nekontrolovatelné riziko, Damoklův meč podle něj shrnuje paniku tím, že staví do hry vyhynutí nikoli jednotlivých hráčů, ale celého druhu.
Damoklův meč ale umožňuje naději i zoufalství. Naději proto, že v letech po Kennedyho výzvě svět dosáhl určité formy détente, se smlouvami o nešíření a kontrole zbrojení, i když podle autora se tato éra dnes smutně mění zpět v období zbrojení. V dnešním světě AI by to znamenalo společné zpomalení, vzájemné ověřování a koordinovanou regulaci Washingtonu, Pekingu a dalších.
Ještě lepší by podle něj bylo, kdyby Spojené státy a Čína začaly hrát jinou hru, zvanou lov na jelena. Dva lovci se v ní rozhodují, zda budou spolupracovat a uloví jelena, který oba na dlouho nasytí. Když jeden z nich spolupráci poruší, druhý nezíská nic a přeběhlík uloví jen králíka.
V dnešním kontextu jelen představuje obrovské přínosy, které by AI mohla lidstvu přinést, od léčby nemocí po řešení dalších problémů. Přínosem jaderné technologie byla hlavně výroba elektřiny; bonus superinteligence by podle autora mohl být mnohem větší.
Autora fascinuje okamžik, kdy metafory a teorie her ze studené války přestávají stačit. Štíři, vězni, závodníci v autech a další postavy v těchto myšlenkových experimentech vždy představovali lidi, kteří jednají jako aktéři ve vztahu k vnější technologii, tedy štěpení atomu. Co se ale stane, když se samotné modely AI stanou hráči?
AI alespoň ze své podstaty nesdílí lidský instinkt vyhnout se katastrofě, což se eufemisticky označuje jako „problém souladu“. Už tento jeden poznatek podle autora stačí k vysvětlení, proč je nezbytné vždy zachovat člověka v rozhodovacím procesu a nepohybovat se rychleji než lidskou rychlostí. I to je podle něj lekce, kterou vůdci poznali už v závěru studené války: nekontrolovaný závod v AI stejně jako jadernou válku nelze vyhrát a nikdy se nesmí odehrát.
Tento komentář odráží osobní názory autora a nemusí odpovídat stanovisku redakční rady ani společnosti Bloomberg LP a jejích vlastníků.
Andreas Kluth je komentátorem Bloomberg Opinion zaměřeným na americkou diplomacii, národní bezpečnost a geopolitiku. Dříve působil jako šéfredaktor Handelsblatt Global a jako autor v časopise Economist.
Tato zpráva vznikla s pomocí Bloomberg Automation.
Text vychází ze zprávy agentury Bloomberg a je redakčně upraven pro české čtenáře.
ZDROJ: Bloomberg.com
