Výzkumníci z Massachusetts Institute of Technology vyvinuli systém, který umožňuje robotům sestavovat nábytek pomocí přirozených jazykových příkazů. Tým vytvořil rámec nazvaný RoboCraft, který kombinuje velké jazykové modely (LLM) s robotickým plánováním a manipulací.
Systém umožňuje uživatelům jednoduše popsat, co chtějí postavit, a robot přeloží tyto instrukce do fyzických akcí. Například uživatel může říct „postav stůl se čtyřmi nohami“ a robot autonomně vybere správné díly, naplánuje posloupnost montáže a fyzicky sestaví nábytek.
„Naším cílem bylo vytvořit systém, který by mohl přijímat pokyny v přirozeném jazyce a překládat je do robotických akcí pro složité montážní úkoly,“ řekl Yunzhu Li, odborný asistent na MIT a vedoucí výzkumného týmu. „RoboCraft představuje krok směrem k intuitivnějším interakcím mezi člověkem a robotem v praktických aplikacích.“
Jak RoboCraft funguje
RoboCraft funguje ve třech hlavních fázích. Nejprve velký jazykový model interpretuje uživatelův příkaz a identifikuje potřebné komponenty a jejich vztahy. Systém pak generuje plán montáže, který určuje pořadí operací potřebných k sestavení požadované struktury.
Nakonec robotický manipulátor provádí plán pomocí kombinace vizuálního vnímání a kontroly síly. Robot používá kamery k lokalizaci dílů a senzory síly k zajištění správného spojení během montáže.
Výzkumníci testovali RoboCraft na různých montážních úkolech zahrnujících různé konfigurace nábytku. Systém úspěšně sestavil stoly, židle a police z modulárních komponentů s vysokou mírou úspěšnosti.
„Co je na tomto přístupu zajímavé, je jeho flexibilita,“ vysvětlil Li. „Systém se neučí pouze konkrétní montážní úkoly, ale rozvíjí obecné porozumění tomu, jak komponenty zapadají dohromady. To mu umožňuje zobecňovat na nové konfigurace, které nikdy předtím neviděl.“
Překonávání výzev v robotické montáži
Montáž nábytku představuje pro roboty několik výzev. Vyžaduje porozumění prostorových vztahů, plánování složitých posloupností akcí a provádění přesných manipulací. Tradiční robotické systémy obvykle vyžadují rozsáhlé programování pro každý konkrétní úkol.
RoboCraft řeší tyto výzvy využitím schopností LLM v oblasti uvažování a plánování. Jazykový model slouží jako vysokoúrovňový plánovač, který rozkládá složité úkoly na zvládnutelné kroky. Robotický systém pak provádí tyto kroky pomocí naučených dovedností manipulace.
Tým také vyvinul metody pro zpracování nejistoty a chyb během montáže. Pokud robot narazí na problém, může požádat o objasnění nebo upravit svůj plán na základě aktuálního stavu montáže.
„Robustnost byla klíčovým ohledem,“ poznamenal Li. „V reálném světě se věci ne vždy chovají přesně podle očekávání. Náš systém potřeboval být schopen zvládat variace v umístění dílů, drobné nesrovnalosti a další zdroje nejistoty.“
Budoucí aplikace a směry
Výzkumníci vidí potenciální aplikace pro RoboCraft mimo montáž nábytku. Systém by mohl být přizpůsoben pro výrobní prostředí, kde by roboti mohli sestavovat produkty na základě specifikací zákazníků. Mohl by také najít využití v domácnostech, kde by roboti mohli pomáhat s různými montážními úkoly.
Tým plánuje rozšířit schopnosti systému tak, aby zahrnoval složitější montážní operace a širší škálu komponentů. Také zkoumají způsoby, jak učinit interakce ještě intuitivnějšími, potenciálně začleněním vizuálních demonstrací nebo gest.
„Toto je jen začátek,“ řekl Li. „Jak se velké jazykové modely a robotické systémy nadále zlepšují, můžeme očekávat, že uvidíme stále sofistikovanější schopnosti. Cílem je vytvořit roboty, kteří mohou skutečně porozumět a reagovat na lidské potřeby přirozeným a užitečným způsobem.“
Výzkum byl prezentován na nedávné konferenci o robotice a představuje pokrok v oblasti robotiky založené na jazyce. Tým zpřístupnil svůj kód a datové sady výzkumné komunitě, aby podpořil další práci v této oblasti.
Zdroj: therobotreport.com
