Šéf Anthropic navrhuje tříbodový plán, jak zpomalit vývoj umělé inteligence

Dario Amodei, generální ředitel firmy Anthropic, zveřejnil esej s názvem We Must Pace the Frontier, ve které navrhuje tříbodový plán na zpomalení vývoje umělé inteligence. Text vyšel 12. září 2026 a rychle se rozšířil napříč celým odvětvím.

Prvním krokem má být nezávislý dohled, firmy vyvíjející nejvyspělejší modely by měly externím hodnotitelům umožnit trvalý přístup podobný přístupu vlastních zaměstnanců. Dozorci by tak mohli ověřovat bezpečnostní opatření, kontrolovat tréninkové postupy a hlásit případné incidenty. Anthropic se k prvnímu kroku zavázal jednostranně a s okamžitou platností.

Druhým krokem má být zavedení společných bezpečnostních standardů mezi firmami z demokratických zemí, které by omezily nekontrolované tempo vývoje. Třetím krokem je mezinárodní spolupráce, včetně jednání s vládami autoritářských zemí o možnostech ověřování dodržování podobných pravidel.

Za hlavní hrozbu Amodei označuje takzvané rekurzivní sebezdokonalování, tedy jev, kdy modely umělé inteligence pomáhají stavět další, výkonnější generaci sebe sama. Podle něj se zmíněný jev letos v létě začal objevovat napříč celým odvětvím, včetně Anthropic. Hrozí, že vývoj předběhne schopnost lidí systémy pochopit a udržet pod kontrolou.

Amodei mezi riziky umělé inteligence jmenuje ztrátu kontroly nad systémy, zneužití pro kybernetické útoky a bioterorismus i závažné narušení ekonomiky.

Amodei ve svém textu doslova píše, že musíme zpomalit tempo, jakým zlepšujeme schopnosti modelů umělé inteligence. I tak bude pokrok podle něj působit dostatečně rychle. Dodává, že lidstvu to dlužíme aspoň za pokus.