OpenAI zpomalila vývoj modelu Astra kvůli obavám o zneužití

OpenAI oznámila, že u připravovaného modelu Astra nedokáže vyloučit takzvané kritické kybernetické schopnosti podle vlastního rámce Preparedness Framework. Jde o nejvyšší stupeň rizika, který firma u modelů sleduje. Definuje ho jako schopnost samostatně najít a využít dosud neznámé chyby v zabezpečených systémech bez pomoci člověka. Firma kvůli tomu pozastavila část interních prací na modelu.

Interní hodnocení podle OpenAI ukázalo výrazný pokrok Astry v agentním programování, tedy schopnosti samostatně psát a upravovat kód k dosažení zadaného cíle. Stejný pokrok se týká i kybernetických útoků. Kombinace obou dovedností znamená, že model by teoreticky dokázal sám navrhnout a provést útok na cizí systém bez vedení člověka.

Rámec Preparedness Framework definuje kritickou úroveň jako schopnost identifikovat a vytvořit funkční zero-day exploity, útočný kód zneužívající dosud nezveřejněné chyby, napříč mnoha zabezpečenými systémy bez lidského zásahu. Stejná úroveň zahrnuje i schopnost samostatně navrhnout a provést zcela novou strategii útoku jen na základě obecně zadaného cíle.

Reakcí OpenAI je zavedení přísnějších bezpečnostních kontrol a průběžné sledování rizikových akcí i takzvaného chain of thought, zaznamenaného postupu uvažování modelu.

Monitorovací systém má spustit bezpečnostní zásah a přerušit činnost ve chvíli, kdy odhalí vysoce rizikovou aktivitu ještě předtím, než způsobí škodu.