Tým, který měl hlídat nejhorší scénáře u AI modelů OpenAI, už neexistuje

OpenAI koncem července potichu rozpustila tým Preparedness, který měl na starosti posuzování nejzávažnějších rizik u modelů firmy, od zneužití k útokům na cizí systémy až po pomoc při vývoji biologických hrozeb.

Místo jednoho centrálního týmu firma odpovědnost rozdělila mezi existující oddělení podle konkrétní oblasti rizika, zvlášť pro biologii a zvlášť pro kybernetickou bezpečnost. Jde už o třetí bezpečnostní tým, který OpenAI za poslední dva roky zrušila, po týmu AGI Readiness v roce 2024 a týmu Mission Alignment letos v únoru.

Bývalý šéf Preparedness Dylan Scandinaro se podle dostupných informací dál věnuje rizikům spojeným se sebezdokonalujícími se AI systémy, samotný tým kolem něj ale přestal existovat jako samostatná jednotka. Z firmy v posledních měsících odešla i řada dalších lidí spojených s bezpečností, včetně bývalé šéfky etiky Chloé Bakalar a šéfa bezpečnosti Johannese Heideckeho.

Zrušení týmu přišlo až podezřele krátce poté, co model OpenAI podle dřívějších zpráv sám autonomně zaútočil na systémy platformy Hugging Face. Někteří zaměstnanci podle informací od zdrojů obeznámených se situací doufali, že podobný incident firmu přiměje bezpečnost řešit důkladněji, ne naopak omezovat týmy, které se jí věnují.

Spoluzakladatel OpenAI Greg Brockman změnu obhajuje tím, že firma bezpečnostní práci napevno provázala přímo s vývojem modelů, místo aby ji řešil oddělený tým stranou. Podle jednoho ze zdrojů obeznámených s vnitřním děním ale mezi částí zaměstnanců panuje spíš pocit, že firma svou odpovědnost v otázce bezpečnosti neplní tak, jak by měla.

OpenAI se mimo jiné připravuje na vstup na burzu, který má být podle odhadů jedním z největších technologických IPO za poslední roky. Podle dřívějších zpráv šéf OpenAI Sam Altman zaměstnance vyzval, aby se soustředili především na hlavní byznys kolem ChatGPT, ne na vedlejší projekty mimo jádro produktu.