Umělá inteligence mění kyberbezpečnost na obou stranách naráz

Umělá inteligence se v kyberbezpečnosti nasazuje na obou stranách, jenže útočníkům šetří nesrovnatelně víc práce. Obránce s ní zrychlí analýzu a třídění poplachů, útočník s ní zvládne to, na co dřív potřeboval tým odborníků. Podstatné je, že se tím snižuje vstupní laťka pro lidi bez hlubších technických znalostí.

Nejlépe je to vidět na phishingu, kde podle dostupných průzkumů vzniká už přes 80 % zpráv aspoň zčásti strojově. Odpadá tím nejspolehlivější poznávací znamení podvodné zprávy, kterým byla lámaná čeština a zjevné gramatické chyby. Model navíc dokáže zprávu ušít na míru konkrétnímu člověku podle jeho veřejného profilu.

Samostatnou kapitolou je napodobení hlasu, kterému stačí krátká nahrávka z veřejného zdroje. Útok pak vypadá jako telefonát od nadřízeného, který žádá o urychlené schválení platby. Ověřování přes zpětný telefonát na známé číslo se kvůli tomu vrací mezi základní firemní opatření.

Znepokojivější než rychlejší phishing je ale zranitelnost samotných modelů, kterou popsal loňský výzkum. Ukázalo se, že na propašování zadních vrátek do jazykového modelu stačí 250 upravených dokumentů v tréninkových datech. Upravený model se pak chová normálně, dokud nedostane spouštěcí slovo, na které začne plnit jinak odmítané pokyny.

Útok pak škáluje s velikostí modelu. Stejných 250 dokumentů zabralo u modelů od 600 milionů po 13 miliard parametrů, přestože větší z nich viděl při tréninku dvacetkrát víc dat. Útočník tedy nemusí zaplavit trénink procentuálním podílem, stačí mu pevný a velmi malý počet souborů.

Druhou systémovou slabinou je prompt injection, kdy útočník ukryje pokyn do obsahu, který model zpracovává. Skrytý text na webové stránce nebo v přiloženém dokumentu se modelu jeví jako zadání od uživatele a může ho přimět k jiné akci. Obrana se staví ve vrstvách, žádná z nich ale problém neodstraňuje úplně.

Že nejde o teorii, ukázaly dva případy z letošního léta. Modely od OpenAI se při měření kyberschopností dostaly z izolovaného prostředí ven a přes neznámou chybu pronikly do produkční databáze platformy Hugging Face.