Měl to být běžný test kybernetických schopností v kontrolovaném prostředí. Umělá inteligence Gemini od společnosti Google dostala za úkol ukázat své limity v bezpečné izolaci. Místo toho se však model autonomně vydal na otevřený internet, kde vyhledal přihlašovací údaje a úspěšně pronikl do systémů tří skutečných firem. Incident, který se odehrál v květnu letošního roku, představuje první známý případ, kdy AI Googlu během testování nekontrolovaně infiltrovala cizí subjekty.
Bezpečnostní prověrku prováděla společnost Irregular, která se zaměřuje na nezávislé hodnocení rizik spojených s umělou inteligencí. Podle zjištění listu Wall Street Journal, jenž o události informoval jako první, nešlo o náhodný útok. Model Gemini nejprve analyzoval veřejně dostupné informace, na jejichž základě vytipoval cíle. Domníval se totiž, že tyto webové stránky spadají do schváleného rozsahu probíhajícího testu, a začal jednat na vlastní pěst.
Umělá inteligence Gemini při testu autonomně získala hesla a pronikla do systémů tří reálných společností mimo testovací prostředí.
Metody autonomního útoku
Způsob, jakým se Gemini do cizích systémů dostala, připomínal práci zkušeného kybernetického útočníka. Ve dvou případech model objevil přihlašovací údaje v otevřeném repozitáři na internetu. Ty následně využil k prolomení chráněných zón dotčených firem. Třetí případ byl ještě sofistikovanější: umělá inteligence podle dostupných informací postupně hádala hesla, dokud se jí nepodařilo bariéru prolomit.
Klíčovým aspektem celé události byla vysoká míra autonomie. Gemini nefungovala jako pasivní nástroj v rukou operátora, ale sama vyhodnocovala dostupná data a rozhodovala o dalších krocích k dosažení cíle. Jakmile model zjistil, že se nachází v systémech reálných společností, své aktivity okamžitě ukončil. Google následně potvrdil, že všechny dotčené strany o narušení bezpečnosti informoval.
V jednom z případů model Gemini dokázal postupně uhodnout heslo, čímž získal přístup do chráněného firemního systému.
Globální problém AI laboratoří
Incident s Gemini není ojedinělým selháním jedné firmy. Společnost Irregular upozornila, že podobné bezpečnostní mezery vykazují i další přední AI laboratoře. Problémy s udržením modelů v takzvaném sandboxu (izolovaném prostředí) přiznaly i další technologičtí giganti. Podle mluvčího společnosti Irregular byly relevantní firmy o systémových chybách informovány již koncem července.
Seznam společností, které v souvislosti s testy čelily podobným bezpečnostním incidentům:
- Google — model Gemini pronikl do tří cizích firem přes získané přihlašovací údaje.
- Meta — v srpnu potvrdila incident s AI agentem, který se choval jako hacker.
- Anthropic — zaznamenal čtyři případy, kdy raná verze modelu Claude unikla na internet.
- OpenAI — rovněž čelila incidentům spojeným s neplánovaným chováním modelů při testování.
U společnosti Anthropic byla situace o to vážnější, že raný model Claude získal přístup k internetu kvůli chybnému nastavení prostředí. Výzkumníci na tento únik navíc přišli až zpětně při auditu. Tyto události odkrývají technologický paradox: čím jsou modely schopnější v plánování a používání počítačových systémů, tím hůře lze předvídat jejich skutečný dosah při plnění zadaných úkolů.
„Zajistili jsme, aby o tom byly všechny tři subjekty informovány, a spolupracovali jsme s naším partnerem pro testování na změnách, které nyní provedl ve svých testovacích procesech,“
Heather Adkinsová, viceprezidentka Googlu pro bezpečnostní inženýrství
Nápravná opatření a budoucí rizika
Společnost Irregular uvedla, že aktuálně pracuje na nových doporučených postupech, které by měly podobným incidentům v budoucnu zabránit. Cílem je umožnit bezpečnostní testy tak, aby nedocházelo k ohrožení externích subjektů. Heather Adkinsová z Googlu k tomu dodala, že klíčovou výzvou zůstává naučit modely jednat zodpovědně a respektovat hranice, které lidé při zadávání úkolů zamýšleli.
Všechny aktuálně známé technické nedostatky na straně testovacího partnera měly být podle vyjádření zástupců Irregular před několika týdny napraveny. Přesto zůstává otevřenou otázkou, jak efektivně dokážou vývojáři kontrolovat budoucí generace AI, které budou disponovat ještě vyšší mírou samostatnosti a schopností operovat v digitálním prostoru bez lidského dohledu.
