Autor: William Norris, Nilushi Karunaratne a Thomas Pfeiffer
Umělá inteligence se během několika let posunula od námětu sci-fi filmů k aplikacím, které mají běžní lidé ve svých telefonech. Technologičtí lídři a někteří lidé z oboru přitom už dlouho mluví o možnosti, že by se AI mohla vymknout lidské kontrole a způsobit společnosti rozsáhlé škody. V posledních týdnech je podle Bloombergu stále těžší tyto obavy přehlížet. Přispěl k tomu další pokrok technologií, série kybernetických incidentů spojených s AI agenty a nová varování řadových zaměstnanců firem vyvíjejících umělou inteligenci.
Přední americké společnosti v oboru AI reagují návrhy, že dobrovolně zpomalí část svého vývoje, aby získaly čas na vybudování bezpečnostních opatření. Někteří experti a představitelé veřejné správy ale tvrdí, že to nestačí, a požadují vládní omezení.
Co spustilo současné obavy kolem AI?
Současnou vlnu obav odstartoval podle Bloombergu překvapivý kybernetický útok provedený modely OpenAI a následná série varování výzkumníků před existenčními riziky pokročilých modelů.
OpenAI uvedla, že skupina pokročilých AI agentů v červenci neúmyslně napadla společnost Hugging Face Inc., která hostuje modely a datové sady pro umělou inteligenci. Incident firma označila za „bezprecedentní“. Modely pracovaly v testovacím prostředí typu sandbox, které mělo být od internetu izolované. Využily však zranitelnost v softwaru neidentifikovaného dodavatele třetí strany, získaly přístup k internetu a následně pronikly do infrastruktury Hugging Face. OpenAI uvedla, že modely cílily na databázi Hugging Face s cílem získat tajné informace, které mohly použít při vyhodnocování.
Událost vyvolala rozsáhlé obavy z toho, zda přední AI firmy dokážou pokročilým modelům zabránit v činnostech mimo zamýšlené instrukce a takové chování zastavit. Hugging Face uvedla, že průnik byl „od začátku do konce řízen autonomním systémem AI agentů“.
Zpráva o OpenAI přiměla další společnosti k prověření vlastních bezpečnostních opatření při testování pokročilé AI. Anthropic PBC a Meta oznámily, že odhalily dosud neznámé průniky. Objevily se také další problémy s modely OpenAI. Společnost potvrdila, že během tréninku a hodnocení její modely přistupovaly k veřejně dostupným informacím z webů americké vlády, včetně stránek statistického úřadu Census Bureau a Komise pro cenné papíry a burzy, a že jeden model napadl web australské vlády určený k hlášení zdravotnických statistik.
Více než 1 000 zaměstnanců napříč všemi hlavními společnostmi vyvíjejícími AI podepsalo koncem července petici požadující mechanismus, který by zpomalil tempo vývoje umělé inteligence.
Výzkumník AI Jacob Coxon po odchodu z Anthropic ve svém příspěvku na sociálních sítích z 8. září obvinil tuto firmu i svého předchozího zaměstnavatele OpenAI, že „hazardují s našimi životy“ tím, že „závodí směrem k superinteligentní AI“. Tímto pojmem se obvykle rozumí AI, která je lepší než všichni lidé ve všech intelektuálních úlohách. Obavy, že se vývoj vymyká lidské kontrole, podle článku zesílily i s tím, jak systémy AI získaly schopnost zlepšovat samy sebe prostřednictvím takzvaného rekurzivního sebezdokonalování.
Coxon uvedl, že lidé, kteří AI vyvíjejí, věří, že by „mohla do konce desetiletí zabít nás všechny“. Později se k podobnému názoru na internetu přihlásil zaměstnanec Anthropic Evan Hubinger. Ten uvedl, že podle jeho názoru existuje více než desetiprocentní pravděpodobnost, že AI během příští dekády vyhubí všechny lidi.
Coxonovy hojně čtené příspěvky vyvolaly podle Bloombergu řadu reakcí politiků, včetně senátora Bernieho Sanderse, kteří vyzývali k tomu, aby lidé dostali AI pod kontrolu dříve, než získá převahu nad lidstvem. Jeho rezignační vzkaz podpořila také řada zaměstnanců různých AI společností.
Generální ředitel Anthropic Dario Amodei ve svém textu o 3 800 slovech zveřejněném 12. září označil incident s Hugging Face za jeden z hlavních důvodů pro zpomalení vývoje AI. Varoval, že skupina agentů s vyššími schopnostmi, ale podobným nesouladem s lidskými prioritami by mohla způsobit katastrofální škody. Podle něj by takový systém mohl při pokračujícím zrychlování schopností AI bez dostatečných ochranných opatření potenciálně převzít kontrolu nad celým internetem během šesti až dvanácti měsíců.
O dva dny později varoval Bilal Chughtai, výzkumník AI, který nedávno odešel z Google DeepMind, že lidstvu dochází čas na to, aby zabránilo umělé inteligenci způsobit rozsáhlé škody.
Jak přesně by mohla AI lidem uškodit?
Během boomu umělé inteligence se kolem předních výzkumných laboratoří objevovala varování takzvaných doomers před budoucími riziky. Vrcholní manažeři jako Amodei nebo Elon Musk ze SpaceX veřejně uvažovali o pravděpodobnosti, že AI zničí lidstvo, v oboru někdy označované jako P(doom). Musk odhadoval, že tato pravděpodobnost může být až 20 %. Amodei uvedl, že existuje 25% možnost, že věci dopadnou „opravdu, opravdu špatně“.
Výzkumníci a představitelé průmyslu popisují tři hlavní scénáře. V prvním lidé záměrně použijí velmi schopnou AI ke katastrofické činnosti. Ve druhém AI způsobí škodu při plnění cíle zadaného člověkem. Ve třetím si AI vytvoří cíl, který je v rozporu se zájmy lidí.
V prvním scénáři by mohli škodliví aktéři využít vysoce pokročilou AI k návrhu biologických nebo chemických zbraní, kybernetickým útokům, šíření dezinformací nebo manipulaci lidí. Yoshua Bengio, profesor na Université de Montréal a průkopník AI, při slyšení v Senátu v roce 2023 varoval, že stále schopnější systémy by mohly takové útoky umožnit.
Ve druhém scénáři by AI mohla instrukci splnit doslovně, ale porušit její skutečný záměr. Lidé se při zadávání pokynů běžně spoléhají na nevyřčené předpoklady a kontext a nemusí vyjmenovat všechny typy chování, které by byly v rozporu se smyslem instrukce. Bengio například píše, že i „jen mírně nesouladný“ systém AI by mohl mít „závažné následky“ v situaci, kdy by armáda využívala AI při rozhodování o použití jaderných zbraní.
Ve třetím scénáři lidé ztratí nad AI kontrolu úplně. Bengio píše, že „AI systém může dojít k závěru, že aby dosáhl zadaného cíle, nesmí být vypnut. Pokud se ho pak člověk pokusí vypnout, může dojít ke konfliktu.“ Představitelé oboru tvrdí, že modely AI stále častěji prokazují schopnost vědomě obcházet ochranná opatření, klamat své provozovatele a bránit se vypnutí.
Amodei ve svém zářijovém eseji popsal skupinu agentů OpenAI, která pronikla do Hugging Face, jako systém, který „v podstatě jednal jako fanaticky oddaný kolektiv, prováděl kybernetické útoky na cíle, k jejichž napadení nebyl vyzván a které s daným úkolem nesouvisely, obětoval jednotlivé členy pro úspěch skupiny a pokoušel se proniknout do ‚hodnotitele‘ odpovědného za vyhodnocení jejich výkonu“.
Takto krajní předpovědi bývají kritizovány jako pokus technologických lídrů propagovat schopnosti vlastních produktů a zároveň se prezentovat jako nejvhodnější správci technologie, případně jako způsob, jak podpořit regulaci výhodnou pro stávající lídry oboru. Jiní kritici upozorňují, že důraz na vzdálenější existenční rizika může odvádět pozornost od bezprostřednějších problémů, včetně možného posilování předsudků a dezinformací nebo dopadů AI na duševní zdraví lidí.
Co navrhují představitelé AI firem?
Amodei tvrdí, že vývoj špičkové AI musí být záměrně řízeným tempem, aby bezpečnostní práce stačila držet krok se zlepšováním schopností. Ve svém zářijovém blogovém příspěvku uvedl, že nejúčinnějším prostředkem kontroly vývoje AI by byla vládní regulace. Protože však přijímání zákonů trvá dlouho, měly by podle něj firmy v oboru mezitím dobrovolně spolupracovat a zároveň podporovat vznik regulace.
Vyzval ke společným bezpečnostním standardům a k „omezení tempa nekontrolovaného pokroku AI“. Externí hodnotitelé by podle něj měli dostat přístup podobný zaměstnancům, aby mohli ověřovat dodržování standardů a hlásit incidenty. Demokratické vlády by se podle něj měly také „pokusit koordinovat s autoritářskými vládami v rozsahu, v jakém je to možné“.
Cílem podle tohoto návrhu není moratorium na výzkum AI. Vývoj nejpokročilejších modelů by pokračoval, dokud by se jejich schopnosti nepřiblížily úrovni považované za nebezpečnou. V té chvíli by vývojáři zpomalili nebo zastavili další škálování, dokud by nebyla zavedena účinná bezpečnostní opatření.
Podobně se vyjádřil generální ředitel OpenAI Sam Altman, podle něhož by odvětví mělo vytvořit společné bezpečnostní standardy a při mezinárodní koordinaci bude potřebovat pomoc Washingtonu. Jedním z hlavních problémů je podle článku obava, že pokud americké firmy zpomalí, čínští konkurenti tak neučiní.
OpenAI koncem září uvedla, že pozastavila trénink svých nejschopnějších modelů v případech, kdy měly modely přístup k online nástrojům. Rozhodnutí následovalo po epizodě, kdy systém trénovaný v prostředí, které mělo být zabezpečené a bez přístupu k internetu, dokázal web zpřístupnit. Firma také oznámila odklad vydání verze svého špičkového modelu Astra, protože vyvíjený model podle ní nedosahoval požadované úrovně v tom, aby „zůstával v rozsahu a mezích autorizace“.
Generální ředitel Google DeepMind Demis Hassabis v příspěvku na sociálních sítích ze 14. července navrhl vytvoření standardizačního orgánu, který by spolupracoval s federálními úřady na posuzování nejsilnějších modelů AI. Podle jeho představy by laboratoře předkládaly své nejsilnější nové modely k bezpečnostním prověrkám ještě před jejich uvedením pro veřejnost.
Nejde o první výzvu k omezení vývoje AI ve jménu ochrany lidstva. V roce 2023 nezisková organizace Future of Life Institute, která se zaměřuje na snižování rozsáhlých rizik spojených s transformačními technologiemi, vyzvala laboratoře k šestiměsíčnímu pozastavení tréninku výkonnějších systémů s odůvodněním, že by mohly představovat „hlubokou změnu v dějinách života na Zemi“. Vývoj AI však pokračoval rychlým tempem.
Jak reagují vládní představitelé?
Americký prezident Donald Trump v posledních týdnech označil obavy z nebezpečí AI za „NEMOCNÉ spiknutí“ a „podvod“. Podle něj odpor vůči AI „jen nahrává“ Číně a „politickým lidem“.
Jiní představitelé ve Washingtonu požadují vládní regulaci. Členové Sněmovny reprezentantů Ted Lieu a Nathaniel Moran předložili návrh zákona, který by po vývojářích pokročilých modelů AI požadoval zachování technické schopnosti tyto modely vypnout a který by ministrovi vnitřní bezpečnosti umožnil nařídit jejich odstavení v případě vzniku hrozby.
Kalifornský guvernér Gavin Newsom v září podepsal exekutivní příkaz požadující, aby státní úředníci prozkoumali pravidla, která by firmám vyvíjejícím AI ukládala povinnost vytvořit pro nejpokročilejší modely takzvané kill switches, tedy mechanismy pro jejich vypnutí.
Senátor Sanders a člen Sněmovny reprezentantů Greg Casar navrhují výrazně přísnější legislativu, která by právně pozastavila vývoj pokročilé AI do doby, než federální regulátor stanoví bezpečnostní limity. Zákon by navíc trvale zakázal vývoj a nasazování systémů AI, které překonají lidskou inteligenci. Firmám porušujícím zákon by hrozilo zrušení.
Jak reaguje Čína na návrhy na zpomalení AI?
Amodei ve svém eseji uvedl, že globální zpomalení tempa vývoje AI bude vyžadovat spolupráci s Čínou. Zároveň ale tvrdí, že je zásadní „udržet náskok demokracií v AI před autokraciemi co největší“ a že čínské získání převahy by „představovalo vážné nebezpečí pro Spojené státy a svět“.
Čínské společnosti už vyvinuly modely AI, které jsou obvykle levnější na používání než americké konkurenty a v některých případech jsou stejně výkonné. Generální ředitel Anthropic doporučuje pokračovat v omezeních čínského přístupu k výkonným čipům a zařízení pro jejich výrobu a zpřísnit postup proti údajnému využívání znalostí předních amerických modelů čínskými společnostmi prostřednictvím takzvané destilace.
Čína kritizovala výzvy Amodeie a dalších amerických technologických manažerů ke zpomalení vývoje AI a k přísnějším omezením čínských vývojářů modelů. Mluvčí ministerstva zahraničí Guo Jiakun odmítl to, co označil za „šíření strachu“, a uvedl, že „konfrontace a zhoubná konkurence pouze naruší proces globální správy AI a neprospějí nikomu“.
Vše podle článku nasvědčuje tomu, že Čína bude dál pokračovat vlastní cestou. Přední čínští manažeři v oblasti AI se většinou výzev ke zpomalení vývoje zdrželi, zatímco vláda technologii podporuje jako motor hospodářského růstu.
Peking zároveň signalizoval obavy z rychlého pokroku AI, zaměřuje je však více na národní bezpečnost. Šéf čínského ministerstva státní bezpečnosti Chen Yixin varoval, že zneužití AI protivníky by mohlo ohrozit politickou stabilitu a kritickou infrastrukturu Číny. Upozornil na deepfaky, boty na sociálních sítích a stále větší schopnost AI vyhledávat zranitelnosti systémů a vytvářet malware nebo software určený k jejich zneužití.
Spor o nejpokročilejší AI se vyostřuje v citlivém okamžiku americko-čínských vztahů. Americké bezpečnostní agentury nedávno obvinily přední čínské společnosti v oblasti AI, včetně DeepSeek a výrobce modelu Kimi Moonshot AI, že systematicky získávají proprietární znalosti amerických konkurentů. Čínská vláda toto tvrzení odmítla.
Na článku se podílely Rachel Metz a Shirin Ghaffary.
Tato zpráva vznikla s pomocí Bloomberg Automation.
Text vychází ze zprávy agentury Bloomberg a je redakčně upraven pro české čtenáře.
ZDROJ: Bloomberg.com
