Výzkumníci IBM pracují na transparentnosti a bezpečnosti umělé inteligence

IBM umělá inteligence

Ve čtvrtek 29. dubna pořádala společnost IBM online seminář s názvem Zodpovědné využívání umělé inteligence, který vedla výzkumnice IBM na poli umělé inteligence (AI) Aleksandra (Saška) Mojsilović. Její prezentace byla zaměřená na potencionální slabiny AI, jako je náchylnost k zaujatosti, netransparentnost či zranitelnost vůči útokům. V debatě se doktorka Mojsilović také věnovala problematickým formám uplatnění AI v současnosti, jakými jsou deep fake videa či algoritmy sociálních sítí směrující uživatele do náručí dezinformací.

Doktorka Mojsilović proto zdůrazňovala nutnost mít při navrhování AI vedle výkonnostních parametrů na zřeteli také etické ohledy. V IBM Research se věnuje vývoji procesů a algoritmů pro definování a měření základních vlastností důvěryhodných AI systémů, tedy nástrojů k rozpoznání a překonání zaujatosti, identifikaci slabých míst v kódu, obraně proti hackerským útokům či rozkrytí rozhodovacích procesů algoritmu. S pokrokem na poli AI lidé a umělá inteligence stále větší měrou spolupracují, a je proto nezbytné moci důvěřovat výstupům této technologie.

Odborníci v IBM Research identifikovali několik hlavních charakteristik důvěryhodných AI systémů:

  • Férovost: AI systémy by se měly učit na datech a modelech oproštěných od zaujatosti a předsudků tak, aby například nezvýhodňovaly určité skupiny uživatelů
  • Robustnost: AI systémy musí být bezpečné a odolné vůči manipulaci s daty, na kterých jsou trénovány
  • Transparentnost: Vývojáři i uživatelé AI systémů by měli být schopni plně porozumět rozhodovacím procesům AI systémů a jejich výstupům
  • Původ: AI systémy by měly obsahovat detaily o jejich vývoji, využití a údržbě tak, aby mohly být kontrolovány během celého životního cyklu

Ovšem stejně jako fyzická budova, ani důvěra v AI nemůže stát na jediném pilíři. Pokud je systém AI prostý zaujatosti, ale nedokáže odolat útoku hackera, nelze se na něj spolehnout. A pokud je sice dobře zabezpečený, ale jeho výstupům nikdo nerozumí, také mu uživatelé nemohou zcela důvěřovat. Proto je nezbytně nutné posílit všechny výše vyjmenované pilíře společně a také definovat metriku pro vyhodnocování výkonu systému na každé z těchto úrovní. Odborníci IBM proto navrhují opatřit AI systémy „příbalovým letákem“ či shrnutím charakteristik systému včetně parametrů jeho fungování, vstupních dat, základního algoritmu, testování a jeho výsledků, výkonnostních ukazatelů či zajištění férovosti a robustnosti systému. A také jeho zamýšlené využití, údržbu a další rozvoj.

TZ

Obrázek: rawpixel.com/Freepik

@RadekVyskovsky