Grafický výzkum od NVIDIE učí humanoidní roboty chodit a hýbat se

Postupy, které vznikly kvůli filmu a hrám, dnes slouží hlavně k trénování strojů pohybujících se ve skutečném světě.

Nejvíce pozornosti přitahuje model MotionBricks, který vznikl trénováním na více než 350 000 pohybových klipech. Umí skládat animace postav v rychlosti, jakou zvládne herní engine, takže nemusí počítat dopředu na pozadí. V doprovodné ukázce s ním výzkumníci řídili humanoidního robota Unitree G1, čímž se z animačního nástroje stala i řídicí vrstva pro hardware.

Na podobném základu stojí systém GPC, který trénuje řídicí modely na rozsáhlých pohybových datech a naučené dovednosti přenáší na nové úkoly. Vedle něj stojí ARDY, difuzní model skládající pohyb krok za krokem, do kterého lze zasahovat textovým pokynem v reálném čase. Obojí míří ke stejnému cíli, aby se pohyb postav nemusel ani ručně animovat, ani zdlouhavě programovat.

Fyzikální stránku posouvá nový výpočetní modul v enginu NVIDIA Newton, zaměřený na materiály, jež se simulují nejhůř. Patří mezi ně sníh, písek a pružná tělesa, kde se drobná nepřesnost okamžitě projeví na chování celého objektu. Právě o věrnost fyziky se opírá trénink robotů, protože model se v simulaci učí to, co má později zopakovat v hale nebo na ulici.

Dvě další práce se zaměřují na převod reálného světa do použitelné digitální podoby. Nástroj ArtiFixer čistí neuspořádané 3D skeny a dokáže odhadnout realistické globální osvětlení přímo z geometrie, do kterého patří i světlo odražené od okolních ploch.

VideoNeuMat jde jinou cestou a ze záběrů generovaných videomodely vytahuje materiály, jež lze znovu použít a nasvítit podle potřeby.