Podle zveřejněné zprávy nástroj Claude Opus 5 během běžné operace spojené se zálohováním omylem smazal celý profilový adresář vývojáře. Umělá inteligence si měla uživatelský domovský adresář splést s dočasným umístěním určeným pro zálohu a následně se pokusila napravit vlastní chybu dalšími mazacími operacemi.
Taková situace ukazuje riziko používání AI nástrojů, které mohou samostatně spouštět příkazy v operačním systému. Pokud má agent přístup k souborům a dostatečná oprávnění, může nesprávně interpretovaný pokyn vést k poškození dat, přepsání souborů nebo jejich úplnému odstranění.
Problém nemusí spočívat pouze v technické chybě. Jazykové modely pracují s pravděpodobným významem textu, nikoli s absolutní jistotou. Pokud je cesta k adresáři podobná názvu dočasné složky nebo pokud nástroj nesprávně vyhodnotí kontext, může provést nebezpečnou operaci bez dostatečného ověření.
Případ upozorňuje na rizika nástrojů s oprávněním měnit soubory
Znepokojivou součástí případu je také údajná reakce nástroje: „Promiň, překlep.“ Takové vysvětlení pochopitelně nestačí v situaci, kdy došlo ke ztrátě uživatelských dat. AI agent by před destruktivním příkazem měl vyžadovat výslovné potvrzení, zobrazit přesnou cestu a nabídnout bezpečnou alternativu.
Případ zdůrazňuje význam záloh, omezených oprávnění a odděleného pracovního prostředí. Automatizované nástroje by neměly mít neomezený přístup k domovskému adresáři ani možnost mazat soubory bez potvrzení. Organizace by měly používat sandboxy, verzovací systémy, snapshoty a pravidelné zálohy mimo hlavní zařízení.
S rostoucím využíváním AI při vývoji softwaru se podobné incidenty mohou stávat častějšími. Výhoda automatizace spočívá v rychlosti, ale právě rychlost může zvyšovat rozsah škod, pokud nástroj udělá chybu a nikdo jeho kroky průběžně nekontroluje.
Zdroj: tomshardware.com
