Humanoidy w różnych dziedzinach
Humanoidy, systemy robotyczne lub wirtualne o strukturach ciała przypominających ludzkie, znajdują zastosowanie w wielu dziedzinach. Ich kończyny i ciało mogą odtwarzać szeroki zakres ruchów ludzkich, takich jak chodzenie, kucanie, skakanie czy pływanie.
Znaczenie realistycznych ruchów
Generowanie realistycznych ruchów dla wirtualnych humanoidów ma duże znaczenie dla rozwoju gier wideo, filmów animowanych, doświadczeń wirtualnej rzeczywistości (VR) i innych treści medialnych. Środowiska w grach i animacjach są często dynamiczne i złożone, co utrudnia planowanie ruchów humanoidów w takich warunkach.
Wprowadzenie PlaMo
Naukowcy z NVIDIA Research w Izraelu wprowadzili PlaMo (Plan and Move), nowe podejście obliczeniowe do planowania ruchów humanoidów w skomplikowanych, trójwymiarowych, fizycznie symulowanych światach. Ich metoda składa się z planera ścieżek uwzględniającego scenę oraz wytrzymałej polityki kontrolnej.
Kontrola w skomplikowanych światach
Kontrolowanie humanoidów w złożonych, fizycznie symulowanych światach jest wyzwaniem z licznymi zastosowaniami w grach, symulacjach i tworzeniu wizualnych treści. W ich konfiguracji użytkownik dostarcza listę instrukcji zawierających cele i typy lokomocji, które PlaMo realizuje za pomocą planera ścieżek i fizycznego kontrolera.
Innowacyjne podejście badawcze
Dotychczasowe badania koncentrowały się na opracowywaniu planera lub kontrolera, a nie obu jednocześnie. Zadania te są wzajemnie zależne, więc Hallak, Dalal i ich zespół postanowili opracować podejście, które łączy obie funkcje. Planer tworzy sekwencję ścieżek ruchu, uwzględniając ograniczenia sceny, takie jak lokalizacja, wysokość i prędkość, a polityka kontrolna generuje realistyczne ruchy zgodne z planem.
Testowanie PlaMo
PlaMo przetestowano w serii symulacji, używając do tego humanoida SMPL, wirtualnego agenta z neutralną strukturą ciała. Symulacje przeprowadzono w IsaacGym, środowisku symulacyjnym dla uczenia przez wzmocnienie, opracowanym przez NVIDIA. Wyniki były obiecujące – PlaMo skutecznie planowało i wykonywało ruchy humanoidów SMPL w złożonych symulowanych krajobrazach, zgodnie z instrukcjami tekstowymi.
Efektywność planera i kontrolera
Planer w PlaMo uwzględniał ruchy humanoidów na nierównych terenach oraz obecność statycznych i dynamicznych przeszkód. Kontroler ruchu niezawodnie śledził zaplanowane ścieżki, realizując skomplikowane ruchy, takie jak czołganie się pod nisko wiszącym sufitem czy szybkie unikanie nadchodzącej przeszkody.
Połączenie modułów
Połączenie tych dwóch modułów okazało się bardzo efektywne, generując realistyczne ruchy w odpowiedzi na zmiany w otoczeniu. PlaMo koncentruje się na planowaniu i kontroli, otwierając możliwości integracji z nowoczesnymi modelami językowymi i zrozumieniem scen 3D. Rozwój PlaMo stanowi krok w kierunku tworzenia bardziej zaawansowanych systemów, w których niegrywalne postacie (NPC) otrzymują role do odegrania, tworząc bogaty, symulowany świat wirtualny.
