Integrace umělé inteligence do operačních systémů představovala značnou výzvu, jelikož modely jako ChatGPT, ačkoli excelují v generativních úkolech, narážely na omezení při autonomním operování v komplexních prostředích operačních systémů. Vědecký týmy z Microsoft Research a Pekingské univerzity však možná našly způsob, jak tuto výzvu překonat.

Tradiční přístupy, které se opíraly o posílené učení v simulovaných prostředích videoher, se ukázaly jako nedostatečné pro úkoly spojené s manipulací operačních systémů, které vyžadují multimodální interakci mezi komponentami. Interakce vyžaduje od modelů AI nejen porozumění, ale i schopnost úsudku, průzkumu a reflexe.

AI MICROSOFT.JPGZdroj: MicrosoftMicrosoft Research představuje VASA-1: AI nástroj pro tvorbu realistických mluvících tváří

Výzkumný tým testoval různé modely LLM, včetně Llama2 70B a GPT-3.5 a GPT-4, a zjistil, že v úkolech vyžadujících manipulaci s operačními systémy nebyly tyto modely zvláště úspěšné. Zjistili, že současné modely AI mají nedostatky ve čtyřech klíčových oblastech: porozumění, úsudek, průzkum a reflexi.

Jako odpověď na tuto výzvu výzkumníci vytvořili nové tréninkové prostředí přezdívané AndroidArena, které napodobuje Android OS a umožňuje modelům AI prozkoumat prostředí podobné operačnímu systému. Podařilo se jim zvýšit přesnost modelu o 27 %, což naznačuje možnost, že modely AI by mohly autonomně operovat v operačních systémech efektivněji a s mnohem menším rizikem chyb.