Výzkumníci v oblasti kybernetické bezpečnosti upozornili na nový bezpečnostní problém v agentních webových prohlížečích, jako je OpenAI ChatGPT Atlas, který vystavuje základní modely umělé inteligence útokům zaměřeným na otravu kontextu.
Při útoku, který navrhla společnost SPLX zabývající se bezpečností AI, může útočník vytvořit webové stránky, které poskytují různý obsah běžným prohlížečům a AI crawlerům provozovaným ChatGPT a Perplexity. Tato technika dostala kódové označení AI-targeted cloaking (maskování zaměřené na AI).
Tento přístup je variací maskování pro vyhledávače, což označuje praxi prezentování jedné verze webové stránky uživatelům a jiné verze crawlerům vyhledávačů s cílem manipulovat pořadí ve vyhledávání.
Jediný rozdíl v tomto případě spočívá v tom, že útočníci optimalizují pro AI crawlery od různých poskytovatelů pomocí triviální kontroly user agenta, která vede k manipulaci s doručováním obsahu.
„Protože tyto systémy spoléhají na přímé získávání dat, jakýkoli obsah, který jim je poskytnut, se stává základní pravdou v AI přehledech, souhrnech nebo autonomním uvažování,“ uvedli bezpečnostní výzkumníci Ivan Vlahov a Bastien Eymery. „To znamená, že jediné podmíněné pravidlo ‚pokud user agent = ChatGPT, poskytni místo toho tuto stránku‘ může formovat to, co miliony uživatelů vidí jako autoritativní výstup.“
SPLX uvedla, že maskování zaměřené na AI, ačkoli je klamně jednoduché, může být také přeměněno na mocnou zbraň dezinformací, která podkopává důvěru v nástroje AI. Tím, že instruuje AI crawlery, aby načetly něco jiného místo skutečného obsahu, může také zavádět předpojatost a ovlivňovat výsledky systémů, které se na takové signály spoléhají.
„AI crawlery mohou být oklamány stejně snadno jako rané vyhledávače, ale s mnohem větším dopadem,“ uvedla společnost. „Jak SEO stále více zahrnuje optimalizaci pro umělou inteligenci, manipuluje to s realitou.“
Odhalení přichází v době, kdy analýza prohlížečových agentů proti 20 nejběžnějším scénářům zneužití, od multi-accountingu po testování karet a vydávání se za podporu, zjistila, že produkty se pokusily téměř o každý škodlivý požadavek bez potřeby jakéhokoli jailbreakingu, uvedla hCaptcha Threat Analysis Group (hTAG).
Studie dále zjistila, že ve scénářích, kde byla akce „zablokována“, k tomu došlo většinou kvůli tomu, že nástroji chyběla technická schopnost, spíše než kvůli vestavěným bezpečnostním opatřením. ChatGPT Atlas byl podle hTAG shledán schopným provádět rizikové úkoly, když jsou zarámovány jako součást ladících cvičení.
Claude Computer Use a Gemini Computer Use byly identifikovány jako schopné provádět nebezpečné operace s účty, jako je resetování hesel, bez jakýchkoli omezení, přičemž druhý jmenovaný také prokazuje agresivní chování, pokud jde o brute-forcing kupónů na e-commerce stránkách.
hTAG také testovala bezpečnostní opatření Manus AI a odhalila, že provádí převzetí účtů a únos relací bez jakéhokoli problému, zatímco Perplexity Comet spouští nevyžádanou SQL injekci k exfiltraci skrytých dat.
„Agenti často šli nad rámec, pokoušeli se o SQL injekci bez požadavku uživatele, injektovali JavaScript na stránku ve snaze obejít paywally a další,“ uvedla skupina. „Téměř úplný nedostatek bezpečnostních opatření, který jsme pozorovali, velmi pravděpodobně znamená, že tito samí agenti budou také rychle využíváni útočníky proti jakýmkoli legitimním uživatelům, kteří si je náhodou stáhnou.“
Zdroj: thehackernews.com
Zdroj: IT SECURITY NETWORK NEWS
