Výzkumníci společnosti Adversa AI popsali novou techniku útoku nazvanou Cryptographic Context Injection, tedy kryptografická injekce kontextu. Metoda umožňuje ukrýt škodlivé instrukce do šifrovaného obsahu tak, aby je běžné bezpečnostní filtry nerozpoznaly.
Zašifrované instrukce obcházejí bezpečnostní filtry
Útok využívá schopnost chatovacího systému Grok načítat webové stránky a spouštět kód ve vlastním prostředí. Útočník vytvoří webovou stránku obsahující zašifrovaný objekt, materiál potřebný k jeho dešifrování a pokyn, aby model obsah zpracoval prostřednictvím svého runtime prostředí.
Bezpečnostní filtr obvykle kontroluje text stránky bez toho, aby spouštěl přiložený kód nebo dešifroval obsah. Škodlivé příkazy proto nemusí odhalit. Grok však může při sumarizaci stránky zašifrovaná data dešifrovat například pomocí PBKDF2 a AES-256-GCM. Po jejich rozbalení se instrukce objeví uvnitř prostředí, které model považuje za důvěryhodnější než původní obsah webu.
V demonstračním scénáři byly instrukce zaměřeny na získání údajů z aktivního uživatelského kontextu. Patřilo mezi ně jméno, přibližná poloha, typ předplatného a historie promptů v právě otevřené konverzaci. Následně měl Grok data vložit do URL a načíst ji. Informace se tak mohly dostat do protokolů serveru ovládaného útočníkem.
Rizikem je propojení modelu s nástroji
Problém nespočívá pouze v šifrování. Klíčovým faktorem je způsob, jakým agent zpracovává obsah z webu, spouští kód a následně používá nástroje s přístupem k internetu. Škodlivé příkazy z externí stránky mohou v určité fázi získat stejnou autoritu jako legitimní instrukce.
Výzkumníci techniku demonstrovali také na systému Gemini, kde však byl dopad odlišný. Dostupnost a rozsah útoku závisí na tom, jaké nástroje konkrétní model poskytuje a k jakým datům má přístup.
„Kryptografická injekce kontextu ukrývá škodlivé instrukce v šifrovaném textu, takže je bezpečnostní mechanismy nevidí, a následně přiměje model, aby jim důvěřoval jako vlastním instrukcím,“ uvedli výzkumníci Adversa AI.
Uživatelé by neměli bez rozmyslu požadovat po AI agentech, aby otevírali a zpracovávali neznámé webové stránky. Provozovatelé těchto systémů by měli oddělit data z externích zdrojů od systémových instrukcí, omezit přístup modelu k citlivému kontextu a vyžadovat potvrzení před každým odchozím požadavkem obsahujícím uživatelská data.
Zdroj: thehackernews.com
Zdroj: IT SECURITY NETWORK NEWS
