Nowe osiągnięcia w robotyce i AI od Meta
W ostatnim tygodniu firma Meta przedstawiła szereg nowych rozwiązań dla robotyki i systemów AI. Udostępnione przez nich benchmarki i narzędzia mają na celu poprawę interakcji systemów AI z fizycznym światem, co może przyczynić się do lepszego zrozumienia środowiska i ludzkich działań.
Rozwój dzięki modelom podstawowym
Dynamiczny rozwój w zakresie modeli podstawowych, takich jak duże modele językowe (LLM) i modele wizualno-językowe (VLM), przyczynił się do wzrostu zainteresowania robotyką. Takie modele stwarzają nadzieję, że roboty będą mogły wykonywać bardziej złożone zadania, wymagające planowania i rozumowania.
Dotykowy odbiór zmysłowy – Sparsh
Jednym z nowości Meta jest Sparsh – model opracowany we współpracy z University of Washington i Carnegie Mellon University, mający na celu rozwinięcie percepcji dotykowej u robotów. Pozwala on robotom wyczuwać nacisk i reagować na dotyk, co jest kluczowe w zadaniach wymagających precyzji.
Problematyka czujników dotykowych
Dotychczasowa integracja czujników dotykowych w zadaniach robotycznych opierała się na etykietowanych danych i modelach dostosowanych do konkretnych zastosowań, co ograniczało ich uniwersalność. Meta wprowadziła rozwiązanie umożliwiające samonadzorowane uczenie (SSL), które z powodzeniem zmniejsza zależność od etykietowanych danych.
Architektura Sparsh
Model Sparsh został przeszkolony na ponad 460 000 obrazach dotykowych, co znacząco zwiększyło jego efektywność. Meta zastosowała w tym celu różne architektury, w tym swoje modele I-JEPA i DINO. Wyniki testów pokazują, że Sparsh przewyższa tradycyjne modele o średnio 95,1%, nawet przy ograniczonej liczbie etykietowanych danych.
Nowatorskie sensory dotykowe – Digit 360
Digit 360, nowy sensor w kształcie palca, zawiera ponad 8 milionów takseli, które pozwalają na precyzyjne odwzorowanie powierzchni dotyku. Dzięki temu sensor może zbierać różnorodne dane, które zwiększają świadomość robota o środowisku.
Lokalna przetwarzalność danych
Digit 360 został zaprojektowany z myślą o przetwarzaniu danych lokalnie, co pozwala na szybkie reakcje bez opóźnień wynikających z przetwarzania w chmurze. Rozwiązanie to jest porównywalne do odruchu łukowego u ludzi i zwierząt, co może być szczególnie przydatne w zastosowaniach medycznych i VR.
Dostępność kodu i projektów Digit 360
Meta udostępnia kod źródłowy i projekty Digit 360 w celu zachęcenia społeczności badawczej do innowacji w zakresie percepcji dotykowej. Firma liczy na to, że otwarte dane przyspieszą rozwój realistycznych środowisk wirtualnych, co jest kluczowe dla projektów Meta związanych z metawersum.
Platforma Digit Plexus
Kolejnym krokiem jest Digit Plexus – sprzętowo-programowa platforma do rozwoju aplikacji robotycznych. Integruje ona różne sensory dotykowe na jednej dłoni robota, przesyłając dane zebrane z tych sensorów przez jeden kabel do komputera. Kod i projekty platformy również są ogólnodostępne.
Współpraca z partnerami
Produkcja Digit 360 odbywa się we współpracy z GelSight Inc., a wraz z Wonik Robotics firma rozwija w pełni zintegrowaną rękę robota wyposażoną w sensory na platformie Digit Plexus. Celem jest dalszy rozwój precyzji manipulacyjnej robotów.
Benchmark PARTNR
Meta wprowadza również PARTNR – benchmark służący ocenie efektywności modeli AI we współpracy człowieka z robotem w wykonywaniu zadań domowych. PARTNR bazuje na Habitat, symulowanym środowisku Meta, i obejmuje ponad 100 000 zadań językowych w 60 różnych domach.
Zastosowanie modeli LLM i VLM
PARTNR ma na celu ocenę efektywności LLM i VLM w instrukcjach, jakie AI otrzymuje od ludzi. Modele te wykazują duży potencjał jako moduły planowania i rozumowania dla robotów w zadaniach wymagających współpracy.
