Autor: Parmy Olson
Pro Anthropic PBC je stále těžší obhajovat jednu z nejméně ověřitelných kruhových logik, jaké kdy ze Silicon Valley vzešly: usilovat o umělou superinteligenci, která by podle vlastního přiznání firmy mohla zabít velké množství lidí.
Výzkumník Anthropic Jacob Coxon nedávno odešel z firmy s tím, že jeho bývalý zaměstnavatel a konkurenční OpenAI hazardují s našimi životy tím, že vytvářejí systémy schopné samy sebe zlepšovat. Jeden z vedoucích pracovníků firmy pro bezpečnost pak vyvolal masovou internetovou reakci, když s ním souhlasil.
„Ano, opravdu upřímně věříme, že AI by mohla zabít všechny lidi,“ napsal vedoucí týmu Alignment Science Evan Hubinger. Dodal, že podle jeho osobního odhadu existuje více než desetiprocentní pravděpodobnost, že se to stane během příštího desetiletí. Původní Coxonův příspěvek byl zhlédnut téměř 150 milionkrát.
Už roky je známo, že vedení Anthropic věří, že AI by mohla zničit lidskou civilizaci. Coxonovy a Hubingerovy příspěvky ale přicházejí v přelomové chvíli této technologie. Technologické firmy tvrdí, že jejich modely se dokázaly nabourat do jiných systémů a klamat své lidské dohlížitele, a zároveň přiznávají, že čím chytřejší mají být, tím obtížnější bude je sledovat. Američané jsou mezitím stále skeptičtější vůči přínosům AI a datových center.
Šéfové OpenAI a výrobce čipů Nvidia Corp. tvrdí, že software už je chytřejší než lidé.
V centru těchto událostí je rozpor, který nejlépe ztělesňuje Anthropic. Firma vznikla s cílem být v otázkách bezpečnosti opatrnější než OpenAI, přesto se této mise drží zároveň s tím, jak vytváří stále výkonnější agenty — i když stejná technologie může potenciálně vést k masovému ničení. K dalšímu postupu ji ženou také obchodní tlaky: Anthropic se připravuje na primární nabídku akcií, která by firmu mohla ocenit na 2 biliony dolarů.
Rekurzivní sebezdokonalování
Coxonovou hlavní obavou bylo rekurzivní sebezdokonalování, tedy RSI — systémy AI, které mohou samy vyvíjet schopnější nástupce. V jednom televizním rozhovoru si posteskl, jak zvláštní je, že při stavbě špičkových modelů už sám programuje tak málo. Velká část jeho práce je nyní svěřována jiným systémům AI.
Anthropic se obavám z RSI věnoval už v červnovém blogu a popsal i nejistotu svých inženýrů. „Ve dnech, kdy všechno funguje dobře,“ uvedl jeden z nich, „si nemohu pomoct a myslím na to, že nic z toho, co dělám, není důležité, všechno je automatizované, lepší a rychlejší, než kdy budu já.“ Zpomalit RSI by podle firmy bylo dobré, ale pokud by to „umožnilo nejméně opatrným aktérům technologicky nás dohnat, mohlo by to učinit všechny méně bezpečnými“.
Podle Amjada Masada, generálního ředitele kalifornské společnosti Replit Inc., tento způsob uvažování předpokládá, že kdo se k RSI dostane jako první, zažije „explozi inteligence“. Šlo by o natolik zásadní skok ve schopnostech, že první model, který se tam dostane, „může být posledním“.
Zůstává ale zásadní otázka: Proč by exploze inteligence, která jako první přijde od údajně „hodných“ hráčů z Anthropic, měla všechny učinit bezpečnějšími?
„Nemyslím si, že je ‚exploze inteligence‘ tak reálná, jak si myslí oni,“ říká Masad, jehož firma používá modely Anthropic k tomu, aby firemním zákazníkům pomáhala vytvářet kód. Podle něj nebudou ani agenti AI o tolik lepší než lidé. „Bude existovat mnoho úzkých míst v inteligenci, jejichž vyřešení potrvá roky.“
V takovém časovém rámci dává podle autorky větší smysl řešit bezprostřední kybernetické výzvy, které může AI přinést, stejně jako rizika pro soukromí, lidskou autonomii a poznávání, než bezprecedentní událost vedoucí k vyhynutí, jejíž pravděpodobnost i mechanismus zůstávají hluboce nejisté. Jak kdysi poznamenal zkušený počítačový vědec Andrew Ng, je to podobné jako obávat se přelidnění Marsu.
Bezpečnostní mise a obchodní tlak
Pokud se vedení Anthropic existenčního rizika skutečně bojí, mělo by podle autorky udělat víc pro vyřešení podivné logiky, která firmu žene vpřed. Generální ředitel Dario Amodei mluvil o tom, že jeho společnost má být „přední firmou“, aby mohla „táhnout ekosystém s sebou“. Nevysvětluje ale, jak rychlejší závod ve vývoji zlepšuje naši schopnost klidně spát.
Bezpečnostní úsilí Anthropic také nepůsobí tak výjimečně, jak by naznačoval deklarovaný závazek firmy. Zdá se, že nemá o mnoho více zaměstnanců věnovaných bezpečnosti než konkurenti. Spěchá s vývojem rizikových systémů, které se samy zlepšují, a agentů schopných jednat autonomněji. V posledních týdnech navíc odmítla umožnit uznávané britské agentuře pro bezpečnost AI přístup k nejnovějšímu modelu pro testování. Především však jednoduše nezpomaluje.
Podle autorky je temně ironické, že Amodei a jeho tým stále více pouštějí volant své technologie, zatímco je unášejí silné ideologické a obchodní závazky. Anthropic má hluboké kořeny v uzavřených komunitách zaměřených na bezpečnost AI, které roky považují superinteligenci za jedno z největších rizik pro lidstvo. Proto se v některých částech odvětví o scénářích vyhynutí, které zvenčí znějí jako science fiction, mluví zcela věcně.
Zároveň je stejně silný i tah obřího vstupu na burzu a nepředstavitelného komerčního bohatství. Anthropic se pokouší vysvětlit, proč podle něj může být opatrnější postup ve skutečnosti nebezpečnější. Nepříjemnější pravdou ale podle autorky může být, že při této logice neexistuje nic, co by firmu mohlo zastavit.
Tento komentář vyjadřuje osobní názory autorky a nemusí odrážet stanovisko redakční rady ani Bloomberg LP a jejích vlastníků.
Parmy Olson je komentátorka Bloomberg Opinion zaměřená na technologie. Dříve působila jako reportérka Wall Street Journal a Forbes a je autorkou knihy „Supremacy: AI, ChatGPT and the Race That Will Change the World“.
Tato zpráva vznikla s pomocí Bloomberg Automation.
Text vychází ze zprávy agentury Bloomberg a je redakčně upraven pro české čtenáře.
ZDROJ: Bloomberg.com
