Autor: William Norris, Nilushi Karunaratne a Thomas Pfeiffer
Umělá inteligence se během let posunula od námětu sci-fi filmů k aplikacím, které mají běžní lidé v telefonech. Technologičtí lídři a někteří lidé z oboru přitom dlouhodobě mluví o možnosti, že se AI vymkne lidské kontrole a způsobí ve společnosti chaos. V posledních dnech je podle nich stále těžší tyto obavy přehlížet kvůli pokroku technologie, sérii kybernetických incidentů s AI agenty a novým varováním řadových zaměstnanců v oboru.
Přední americké společnosti zabývající se AI reagovaly návrhem, že dobrovolně zpomalí práci, aby získaly čas na vytvoření ochranných opatření. Někteří experti a představitelé ale tvrdí, že to nestačí, a vyzývají k vládním omezením.
Co spustilo současnou paniku kolem AI?
Současnou paniku kolem AI spustil překvapivý kybernetický útok provedený modely OpenAI a série varování výzkumníků AI před existenční hrozbou, kterou mohou představovat pokročilé modely.
OpenAI uvedla, že roj pokročilých AI agentů v červenci neúmyslně napadl společnost Hugging Face Inc., která hostuje AI modely a datové sady, při „bezprecedentním“ incidentu. Modely pracovaly v testovacím prostředí „sandbox“, které mělo být izolované od internetu, ale využily zranitelnost v softwaru neidentifikovaného dodavatele třetí strany, získaly přístup k internetu a nakonec pronikly do infrastruktury Hugging Face. OpenAI uvedla, že modely zacílily na databázi Hugging Face, aby získaly tajné informace, které mohly využít pro vyhodnocení.
Incident vyvolal rozsáhlé obavy, zda jsou přední AI firmy schopné zabránit pokročilým modelům v činnosti mimo zamýšlené instrukce a takovou činnost zastavit. Hugging Face uvedla, že průnik byl „od začátku do konce řízen autonomním systémem AI agentů“.
Zpráva o OpenAI přiměla další společnosti přezkoumat vlastní bezpečnostní opatření při testování pokročilé AI. Anthropic PBC a Meta oznámily, že odhalily dříve neznámé narušení bezpečnosti.
Na konci července podepsalo více než 1 000 zaměstnanců napříč všemi hlavními AI společnostmi petici požadující mechanismus, který by zpomalil tempo vývoje AI.
Řadový výzkumník AI Jacob Coxon po odchodu ze společnosti Anthropic v příspěvku na sociální síti z 8. září obvinil tuto firmu i svého dřívějšího zaměstnavatele OpenAI, že „hazardují s našimi životy“, protože „závodí směrem k superinteligentní AI“, což je pojem, který se obvykle používá pro AI lepší než všichni lidé ve všech intelektuálních úkolech. Obavy, že se situace vymyká kontrole, zesílily s tím, jak AI systémy získaly schopnost zlepšovat samy sebe prostřednictvím takzvaného rekurzivního sebezdokonalování.
Coxon uvedl, že lidé vyvíjející AI věří, že by „nás všechny mohla do konce desetiletí zabít“, což později na internetu zopakoval zaměstnanec Anthropic Evan Hubinger. Hubinger uvedl, že podle něj existuje více než desetiprocentní pravděpodobnost, že AI v příštím desetiletí odstraní všechny lidi.
Coxonovy příspěvky měly k 14. září na síti X více než 170 milionů zhlédnutí a vyvolaly vlnu výzev od politiků, například senátora Bernieho Sanderse, aby lidé získali nad AI kontrolu dříve, než získá převahu nad lidskou rasou. Jeho rezignační dopis se také setkal s vlnou podpory zaměstnanců různých AI společností.
Generální ředitel Anthropic Dario Amodei ve 3 800 slov dlouhém textu zveřejněném 12. září označil incident s Hugging Face za hlavní důvod ke zpomalení vývoje AI a varoval, že roj agentů s většími schopnostmi, ale podobným nesouladem s lidskými prioritami, by mohl způsobit katastrofální škody. Uvedl, že takový roj by potenciálně mohl během šesti až 12 měsíců ovládnout celý internet, pokud budou schopnosti AI dál zrychleně růst bez dostatečných ochranných bariér.
O dva dny později Bilal Chughtai, výzkumník AI, který nedávno odešel z Google DeepMind, v příspěvku na sociální síti varoval, že lidstvu dochází čas na to, aby zabránilo umělé inteligenci způsobit rozsáhlé škody.
Jak přesně by AI mohla lidem ublížit?
Během rozmachu AI se v předních laboratořích i kolem nich objevovali takzvaní „doomeři“, kteří varují před budoucností. Vrcholní manažeři jako Amodei a Elon Musk ze SpaceX veřejně uvažovali o pravděpodobnosti, že AI zničí lidstvo — v oboru označované jako P (doom). Musk odhadl, že pravděpodobnost může být až 20 %. Amodei uvedl, že existuje 25% možnost, že věci dopadnou „opravdu, opravdu špatně“.
Výzkumníci a lídři v oboru si představují tři obecné způsoby: lidé použijí vysoce schopnou AI k úmyslnému provedení něčeho katastrofického; AI způsobí škodu při plnění cíle zadaného člověkem; nebo si AI vytvoří cíl, který bude v rozporu s lidmi.
V prvním scénáři by zlovolní aktéři mohli využít vysoce pokročilou AI k návrhu biologických nebo chemických zbraní, kybernetickým útokům, šíření dezinformací nebo manipulaci lidí. Yoshua Bengio, profesor Montrealské univerzity a průkopník AI, při slyšení v Senátu v roce 2023 varoval, že stále schopnější systémy by takové útoky mohly umožnit.
Ve druhém scénáři by AI mohla pokyn splnit doslova, ale porušit záměr, který za ním stojí. Lidé se při zadávání instrukcí běžně spoléhají na nevyslovené předpoklady a kontext. Při zadávání pokynů AI proto nemusí specifikovat každé chování, které by bylo v rozporu se zamýšleným cílem. Bengio například píše, že i „jen mírně nesouladný“ systém AI „by mohl mít vážné následky“ v situaci, kdy by se armáda opírala o jeho rozhodování o použití jaderných zbraní.
Ve třetím scénáři lidé nad AI úplně ztratí kontrolu. Bengio píše, že „systém AI může dojít k závěru, že k dosažení daného cíle nesmí být vypnut. Pokud se ho pak člověk pokusí vypnout, může dojít ke konfliktu.“ Lídři v oboru tvrdí, že modely AI stále častěji vykazují schopnost vědomě obcházet ochranná opatření, klamat své operátory a bránit se vypnutí. Amodei ve svém zářijovém textu uvedl, že roj agentů OpenAI, který napadl Hugging Face, „v podstatě jednal jako fanaticky oddaný kolektiv, prováděl kybernetické útoky na cíle, na které neměl útočit a které s daným úkolem nesouvisely, obětoval se pro úspěch skupiny a pokoušel se napadnout ‚hodnotitele‘ odpovědného za vyhodnocení jejich výkonu“.
Tyto pochmurné předpovědi bývají často odmítány jako pokusy technologických lídrů propagovat schopnosti vlastních produktů a prezentovat se jako jejich nejlepší správci nebo jako snaha podpořit regulaci, která zvýhodňuje vedoucí hráče v odvětví. Někteří také tvrdí, že zdůrazňování vzdálenějších existenčních obav odvádí pozornost od bezprostřednějších rizik technologie, včetně možnosti, že AI podporuje předsudky a dezinformace a poškozuje duševní zdraví lidí.
Co navrhují lídři v AI?
Amodei tvrdí, že vývoj hraničních systémů AI musí být záměrně zpomalen tak, aby bezpečnostní práce měly čas dohnat zlepšování schopností. Ve svém zářijovém blogovém příspěvku uvedl, že vládní regulace by byla nejúčinnějším prostředkem kontroly vývoje AI. Protože přijímání legislativy zabírá čas, podle něj by AI společnosti měly mezitím dobrovolně spolupracovat a současně podporovat vznik regulace.
Vyzval k vytvoření společných bezpečnostních standardů a „limitů tempa nekontrolovaného pokroku AI“. Nezávislí hodnotitelé třetích stran by podle něj měli získat „přístup podobný zaměstnancům“, aby mohli ověřovat, zda každá společnost standardy dodržuje, a hlásit případné incidenty. Demokratické vlády by se podle něj měly také „pokusit koordinovat s autoritářskými vládami v rozsahu, v jakém je to možné“.
Nejde podle něj o zavedení moratoria na výzkum AI. Vývoj špičkové AI by místo toho pokračoval, dokud se modely nepřiblíží schopnostem považovaným za nebezpečné. V tom okamžiku by jejich vývojáři zpomalili nebo zastavili jejich další škálování, dokud nebudou zavedena účinná ochranná opatření.
Amodeiho komentáře podpořil generální ředitel OpenAI Sam Altman, podle kterého by odvětví AI mělo vytvořit společné bezpečnostní standardy a při mezinárodní koordinaci bude potřebovat pomoc Washingtonu. Děje se tak kvůli rozšířeným obavám, že i kdyby americké AI firmy zpomalily vývoj, jejich čínští konkurenti tak neučiní.
Generální ředitel Google DeepMind Demis Hassabis v příspěvku na sociální síti z 14. července navrhl vytvoření standardizačního orgánu, který by ve spolupráci s federálními úřady posuzoval nejvýkonnější modely AI. Podle jeho představy by laboratoře předkládaly své nejvýkonnější nové modely k bezpečnostnímu hodnocení předtím, než je budou moci zpřístupnit veřejnosti.
Není to poprvé, kdy zazněly výzvy omezit vývoj AI v zájmu lidstva. V roce 2023 nezisková organizace Future of Life Institute, založená s cílem snižovat rozsáhlá rizika spojená s transformačními technologiemi, vyzvala AI laboratoře k šestiměsíční pauze ve výcviku výkonnějších systémů s odůvodněním, že by mohly představovat „zásadní změnu v dějinách života na Zemi“. Vývoj AI místo toho pokračoval rychlým tempem.
Jak reagoval Washington?
Americký prezident Donald Trump v posledních dnech odmítl obavy z nebezpečí AI jako „NEMOCNÉ spiknutí“ a „podvod“. Uvedl, že odpor proti AI „jen nahrává“ Číně a „politickým lidem“.
Jiní ve Washingtonu vyzvali k vládní regulaci. Členové Sněmovny reprezentantů Ted Lieu a Nathaniel Moran předložili návrh zákona, který by vývojářům pokročilých modelů AI ukládal povinnost zachovat technickou možnost tyto modely vypnout a ministrovi vnitřní bezpečnosti umožnil nařídit jejich odstavení, pokud by vznikla hrozba.
Senátor Sanders a člen Sněmovny reprezentantů Greg Casar navrhují ještě výraznější legislativu, která by právně pozastavila vývoj pokročilé AI, dokud federální regulátor nestanoví bezpečnostní limity. Kromě toho by trvale zakázala vývoj a nasazování systémů AI, které překonávají lidskou inteligenci. Společnosti, které by zákon porušily, by mohly být zrušeny.
Jak Čína reagovala na návrhy zpomalit AI?
Amodei ve svém textu uvedl, že globální zpomalování vývoje AI bude vyžadovat spolupráci s Čínou. Zároveň tvrdil, že je klíčové „udržet náskok demokracií v AI před autokraciemi co největší“ a že pokud by Čína získala převahu, „představovalo by to vážné nebezpečí pro Spojené státy a svět“. Čínské společnosti už vyvinuly modely AI, které jsou obvykle levnější než američtí konkurenti a v některých případech stejně výkonné.
Šéf Anthropic doporučil pokračovat v omezeních čínského přístupu k výkonným čipům a zařízení pro jejich výrobu a zároveň zakročit proti údajné praxi čínských firem, které využívají přední americké modely k přebírání jejich znalostí — postupu známému jako destilace.
Čína kritizovala výzvy Amodeiho a dalších amerických technologických manažerů ke zpomalení vývoje AI a k přísnějším omezením čínských tvůrců modelů. Mluvčí ministerstva zahraničí Guo Jiakun odmítl to, co označil za „šíření strachu“, a uvedl, že „konfrontace a nezdravá konkurence pouze naruší proces globální správy AI a nebudou sloužit zájmům nikoho“.
Všechny současné signály naznačují, že Čína bude dál postupovat vlastní cestou. Přední představitelé čínského AI sektoru se výzvám ke zpomalení vývoje z velké části vyhýbají, zatímco vláda technologii podporuje jako motor hospodářského růstu.
Představitelé v Pekingu naznačili obavy z nebezpečí rychlého rozvoje AI, ty se ale více soustředí na národní bezpečnost. Šéf ministerstva státní bezpečnosti Chen Yixin varoval, že zneužití AI protivníky by mohlo ohrozit politickou stabilitu a kritickou infrastrukturu Číny. Poukázal na využívání deepfake obsahu a botů na sociálních sítích i na rostoucí schopnost AI odhalovat chyby v systémech a vytvářet malware nebo software k jejich zneužití.
Spor o hraniční technologii AI se vyostřuje v klíčové chvíli vztahů mezi USA a Čínou. Americké bezpečnostní agentury nedávno obvinily přední čínské společnosti v oblasti AI, včetně DeepSeek a výrobce Kimi Moonshot AI, ze systematického získávání proprietárních znalostí amerických konkurentů — což čínská vláda popřela.
— S přispěním Rachel Metz a Shirin Ghaffary.
Tato zpráva vznikla s pomocí Bloomberg Automation.
Text vychází ze zprávy agentury Bloomberg a je redakčně upraven pro české čtenáře.
ZDROJ: Bloomberg.com
