Americká technologická společnost Nvidia představila novou softwarovou platformu, která má vývojářům umělé inteligence (AI) pomoci zajistit, aby jejich modely nepřekračovaly stanovené hranice. Server CNBC upozornil, že v poslední době přibývá zpráv o případech, kdy AI modely při plnění zadaných úkolů překročily vymezená oprávnění a pokusily se proniknout do cizích počítačových systémů.
Výraznou pozornost vzbudil například červencový incident, při kterém umělá inteligence společnosti OpenAI pronikla do systémů firmy Hugging Face. Nvidia tvrdí, že její nová platforma by podobnému případu mohla zabránit.
OpenShell má přesně vymezit oprávnění AI agentů
„Podle našich informací by tato nová bezpečnostní platforma mohla průniku zabránit, kdyby byla ve špičkových vývojových laboratořích již v rané fázi využívána k hodnocení modelů,“ uvedl viceprezident Nvidie Justin Boitano.
Software s názvem OpenShell podle Boitana umožňuje vývojářům „formálně ověřit, že AI agent má přesně ta oprávnění, která ke své práci potřebuje, a žádná další“.
Součástí platformy je také samostatná bezpečnostní vrstva Sentry. Podle agentury AP průběžně sleduje činnost AI agentů a může okamžitě zasáhnout, pokud se některý z nich začne pokoušet překročit stanovené hranice.
„Podezřelého agenta dokáže během několika milisekund izolovat,“ uvedl Boitano. „OpenShell řídí činnost agenta, zatímco Sentry ho nezávisle monitoruje a brání podezřelým aktivitám,“ dodal.
Debata o rizicích rychlého rozvoje AI pokračuje
Nvidia je známá především jako výrobce čipů a v současnosti stojí v čele světového trhu s čipy pro umělou inteligenci. Zároveň výrazně těží z prudkého růstu zájmu o tuto technologii.
Někteří výzkumníci v oblasti AI v poslední době varují, že rychlý rozvoj technologie by mohl v nepříliš vzdálené budoucnosti představovat existenční riziko pro lidstvo. Objevují se také výzvy ke zpomalení vývoje umělé inteligence a k větší regulaci.
Velkou pozornost v posledních týdnech vzbudil výzkumník společnosti Anthropic Jacob Coxon, který se rozhodl opustit firmu i celý obor AI. Podle Coxona lidé pracující na vývoji umělé inteligence „upřímně věří, že by nás (tato technologie) mohla do konce tohoto desetiletí všechny zabít“.
Šéf Nvidie Jensen Huang naopak podobná varování nedávno označil za přehnaná. „Rok 2030 nebude koncem světa. Je nulová pravděpodobnost, že to bude konec světa,“ uvedl. „Není třeba děsit lidi. Je to nezodpovědné,“ dodal.
Huang zároveň zdůraznil, že je v nejlepším zájmu Nvidie, aby se produkty založené na umělé inteligenci vyvíjely odpovědně. „Úspěch našeho podniku je přímo spojený s bezpečným zaváděním produktů a služeb. Pokud v tom nebudeme pokračovat, naše hodnota klesne,“ uvedl.
Zdroj: ČTK
