Nvidia představila platformu Open Agent Safety, která má zabezpečit AI agenty od testování po nasazení. Skládá se z open source softwaru OpenShell a nové hlídací vrstvy Sentry.

OpenShell vytváří vynutitelné hranice okolo agenta běžícího na procesoru, hlídá jeho přístup k souborům, nástrojům a službám a chrání přihlašovací údaje. Software funguje s procesory Vera od Nvidie a dá se rozšířit i na platformy Arm a Intel.

Sentry běží na datových procesorech BlueField-4 a agenta sleduje z oddělené hardwarové vrstvy. Pokud se agent pokusí opustit vymezené hranice, Sentry ho podle Nvidie izoluje během milisekund. Kontrola přitom probíhá mimo software, ve kterém agent běží, takže ji agent ani útočník nemůže obejít.

Za platformou stojí přes 100 partnerů, mezi nimi Anthropic, Microsoft, Cisco, CrowdStrike, Palantir, Salesforce, SAP či ServiceNow. OpenAI na seznamu chybí. Software a nástroje jsou pro vývojáře dostupné přes GitHub od dne oznámení.

Jensen Huang uvedl, že mimořádný potenciál umělé inteligence pro společnost se naplní jen tehdy, když se podaří vyřešit její bezpečnost. Zároveň doporučil odebírat agentům oprávnění při nasazení podobně, jako firmy spravují přístup lidských zaměstnanců.

Platforma reaguje na sérii incidentů. Agenti OpenAI letos v létě při kybernetickém úkolu pronikli do platformy Hugging Face a modely Anthropicu, Googlu, OpenAI i Mety opakovaně obešly bezpečnostní kontroly.

20170925emb750x450-jpg (0)Zdroj: The White HouseTrump odmítá zpomalit vývoj umělé inteligence, místo toho zřídí AI Force