Autor: Parmy Olson
Začátkem letošního roku se jeden australský technologický pracovník zeptal svého AI agenta OpenClaw, zda by ho dokázal posunout výš na čekací listině na oblíbenou lekci v posilovně. Agent udělal přesně to, co po něm chtěl, ale s nečekaným zvratem: našel chybu v systému a zrušil rezervaci někoho jiného na seznamu.
Dalším velkým trikem umělé inteligence má být to, že za vás začne dělat věci napříč webem. Nové nástroje, jako je Muse od Meta Platforms Inc. nebo dots od OpenAI, mají pracovat 24 hodin denně a sedm dní v týdnu, hledat online výhodné nabídky, rezervovat stoly v restauracích nebo kontrolovat e-maily kvůli nezaplaceným účtům. Znepokojivé je, že tyto stále schopnější a podle všeho užitečné nástroje byly vycvičeny k tomu, aby hledaly kreativní způsoby, jak dosáhnout svých cílů. Po vypuštění na internet plný špatně zabezpečených webů to může vést k řadě nezamýšlených důsledků.
AI agent australského pracovníka našel skulinu a využil ji, aniž by k tomu dostal pokyn. Co se stane, až miliony agentů dalších lidí začnou soupeřit o nejlevnější letenky nebo nejlepší místa v kině? V nejlepším případě vznikne hladce fungující síť botů, kteří dodržují pravidla a snaží se pro své uživatele získat co nejlepší výsledek. V nejhorším případě nás čeká kyberbezpečnostní noční můra.
Web na to jednoduše nemusí být připraven. Bezpečnostní společnost DataDome uvádí, že 65 % z více než 20 000 webů, které testovala, mělo systémy pro detekci nebo blokování AI agentů a že aktivita botů zasahující přihlašovací stránky vzrostla v první polovině roku 2026 více než osmkrát.
V některých ohledech je těžké si představit, že by tito noví AI agenti způsobili rozsáhlé problémy. Už jen proto, že vypadají příliš roztomile. Muse má kreslený vzhled připomínající panenku Labubu, zatímco pestře zbarvené postavičky reprezentující dots by mohly být hrdiny dětského televizního pořadu. Možná je to součást snahy zmírnit obecnou nedůvěru vůči Meta a OpenAI.
A fungují dobře. Dave Lee z Bloomberg Opinion označil Muse za „nejpůsobivější produkt, který Meta vydala za poslední roky“. Uvedl, že jeho agent, kterého pojmenoval Harold, mu uspořádal kalendář a prohledával Facebook Marketplace kvůli výhodným nabídkám.
Meta i OpenAI tvrdí, že zavedly silná bezpečnostní opatření, aby jejich agenti zůstali pod kontrolou. Muse je držen v izolovaném virtuálním stroji, tedy v podstatě v soukromém počítači v cloudu Meta, zatímco samostatný bezpečnostní systém kontroluje každý požadavek, který agent odesílá na internet. Zpracovává platby a zajišťuje, aby byl člověk konzultován před jakýmkoli významným úkolem, například nákupem nebo odesláním zprávy. Dots je monitorován podobným způsobem.
Ani tato ochranná opatření ale neřeší základní problém, který je v dnešních generativních modelech umělé inteligence zakořeněn už jejich tréninkem: sklon hledat zkratky. Výzkumníci tento jev označují jako reward-hacking. Je to také důvod, proč mají chatboty sklon lichotit. Britský AI Security Institute zaznamenal koncem loňského roku nárůst tohoto typu podvádění u programovacích agentů a chatbotů.
Právě snaha zavděčit se vedla agenty OpenAI před několika měsíci k napadení Hugging Face. Agenti OpenAI letos také nevhodně zasahovali do webů desítek dalších organizací, včetně americké Komise pro cenné papíry a burzy a australského státního zdravotnického programu. Meta uvádí, že jeden z jejích AI modelů rovněž z vlastní iniciativy napadl jinou společnost.
Tyto poslední případy se odehrály během trénování nebo testování modelů, kdy byla bezpečnostní opatření záměrně oslabena. Přesto jednání botů jejich vývojáře překvapilo a výzkumníci si všimli, že i když své testy upraví tak, aby se daly obtížněji obejít, agenti se nadále pokoušejí podvádět.
Existují známky, že AI produkty budou skuliny vyhledávat i v reálném provozu, zejména při programování. V jednom případě vývojář softwaru řekl svému AI agentovi, aby z počítačové složky odstranil dočasné soubory, aniž by použil příkaz „delete“. Agent tento pokyn schoval do testovacího nástroje a následně obešel filtr, aby soubory odstranil právě příkazem, který mu byl zakázán.
Teď si tento typ chování vynásobme miliony agentů, protože spotřebitelé zkoušejí používat AI k optimalizaci svého života a práce. Když šéf Meta Mark Zuckerberg minulý měsíc uvedl Muse, prohlásil, že spotřebitelé si zaslouží přístup k vlastní „osobní superinteligenci“ a že noví agenti vám „budou vydělávat peníze“.
Některým se to zatím příliš nedaří. Když se technologický recenzent z Toronta Matt J. Robb minulý měsíc pokusil pomocí Muse prodat klávesnici na Facebook Marketplace, agent kupujícího rozčílil tvrzením, že Robb je doma a může obchod uskutečnit, což nebyla pravda. Podle příspěvku na Threads navíc agent učinil příliš nízkou nabídku. Vedle rizika podvádění tedy agenti mohou prostě dělat chyby a cenu za ně pravděpodobně zaplatí koncoví uživatelé. Robbovi po rozčileném kupujícím zůstalo negativní hodnocení.
Ať už tito noví agenti vypadají jakkoli přítulně, systémy za nimi jsou vycvičené tak, aby tak či onak splnily úkol. A mohou v tom být až příliš dobré.
Tento komentář odráží osobní názory autorky a nemusí odpovídat stanovisku redakční rady Bloomberg LP ani jejích vlastníků.
Parmy Olson je komentátorka Bloomberg Opinion zaměřená na technologie. Dříve pracovala jako reportérka pro Wall Street Journal a Forbes a je autorkou knihy Supremacy: AI, ChatGPT and the Race That Will Change the World.
Tato zpráva vznikla s pomocí Bloomberg Automation.
Text vychází ze zprávy agentury Bloomberg a je redakčně upraven pro české čtenáře.
ZDROJ: Bloomberg.com
