Runway zveřejnila model Praxis-1 pro řízení robotů jako otevřený software
Americká společnost Runway uvolnila svůj model pro řízení robotů Praxis-1 jako otevřený software. Ke stažení jsou jeho váhy, tedy číselné parametry, které si model osvojil během tréninku, i zdrojový kód. Obojí vychází pod licencí Apache 2.0, která dovoluje i komerční využití. Model přenáší do ovládání strojů to, co se naučil z videa. V žebříčku RoboLab-120 od Nvidie vede kategorii takzvaných World Action Models (modelů světa a akcí). Složitější posloupnost kroků si ale zatím sám naplánovat nedokáže.
Od generování videa k robotické paži
Společnost Runway je známá hlavně generativními videomodely, jako je Gen-4.5. Praxis-1 poprvé představila koncem září, přístup k němu tehdy ale dostali jen vybraní partneři. Od té doby jej robotické společnosti Standard Bots, Noble Machines a Ultra zkoušely na různých strojích: na humanoidním robotu, průmyslové paži a dvouramenném skladovém robotu. Spolu s uvolněním modelu zveřejnila Runway podrobnou výzkumnou zprávu s novými výsledky měření, jak informoval server The Decoder.
Praxis-1 dostává tři druhy vstupů: obraz z kamery, textový pokyn a údaje o poloze robota. Z nich předpovídá, jak se scéna změní, a vypočítá odpovídající pohyby. S každým novým snímkem řízení průběžně upravuje. Právě tento postup firma označuje jako World Action Model (model světa a akcí). Systém nejprve odhadne vývoj okolí a teprve na tomto základě určí, co má stroj udělat.
Základem je videomodel, který si z běžných záznamů osvojil, jak se předměty pohybují a jak na sebe působí. Runway jej pak dotrénovala na videích lidských činností a na robotických datech. Takový postup by mohl omezit potřebu drahých datových sad nasbíraných jen kvůli tréninku robotů.
Kolik robotických dat je stále potřeba
Bez specializovaných záznamů se Praxis-1 přesto neobejde. Pro přizpůsobení robotické paži Franka použila Runway podle své zprávy zhruba 277 hodin z veřejné výzkumné sady DROID. Ta zachycuje například uchopování a přesouvání předmětů. U dvouramenného robota sáhla firma po 1 400 až 2 600 hodinách tréninkového materiálu. DROID i data z jiných robotických systémů navíc model využíval už v dřívějších fázích učení. Zda tento přístup celkově opravdu vystačí s menším objemem takových dat než srovnatelné modely bez obecného předtréninku na videu, zůstává otevřené.
Výsledky, které zatím nikdo nezávislý neověřil
V žebříčku RoboLab-120 dosahuje Praxis-1 úspěšnosti 46,2 %. Benchmark, tedy standardizovaná sada testů, v simulaci zkouší na 120 úlohách, jak spolehlivě robotické modely třídí, uchopují nebo skládají předměty. FLUX 3 Action, postavený na stejném principu, za shodných podmínek dosáhl 42,9 %. Praxis-1 tak vede kategorii World Action Models. V celkovém pořadí mu patří páté místo: před ním jsou dva agenti a dva robotické modely s jinou architekturou. Všechna měření ovšem provedla Runway sama a nezávislé ověření zatím chybí.
Firma oba systémy vyzkoušela i na skutečné paži Franka. Plnily stejných deset úkolů, třeba položit banán na talíř nebo zavřít zásuvku, a na každý měly deset pokusů. Praxis-1 uspěl osmaosmdesátkrát, FLUX 3 Action osmdesátkrát.
Další test měl ukázat, jak si model poradí s typem stroje, který předtím neviděl. Runway použila data z mobilní platformy s chapadlem, na níž Google dříve vyvíjel RT-1. Záznamy z ní v předchozím tréninku Praxis-1 nebyly. Po dotrénování na zhruba 95 hodinách dat dosáhl model v simulaci průměrné úspěšnosti 80 %, uvádí firma. Úlohy zahrnovaly čtyři typy činností, mimo jiné uchopování plechovek s limonádou, otevírání a zavírání zásuvek či vkládání jablka do zásuvky. Původní RT-1 od Googlu dosáhl na stejném benchmarku 52,4 %.
Co to znamená pro české firmy a laboratoře
Váhy jsou dostupné na platformě Hugging Face po registraci a souhlasu s podmínkami přístupu, kód je na GitHubu. Vedle základního modelu jsou podle Runwaye k dispozici i verze předem přizpůsobené konkrétním robotům. Před nasazením na nový stroj je nutné základní model dotrénovat.
Otevřená licence znamená, že s ním mohou pracovat i tuzemské univerzitní robotické týmy nebo výrobní firmy, aniž by platily za přístup k uzavřenému rozhraní. Náklady se však přesouvají jinam: na vlastní hardware a sběr dat. Standardní verze vyžaduje grafický procesor s 80 GB paměti. Zkomprimovaná varianta by se podle odhadů firmy měla vejít na kartu RTX 5090 s 32 GB, skutečnou špičkovou spotřebu paměti ale podle dokumentace na GitHubu zatím nikdo nezměřil.
Pro nasazení je důležitá i evropská regulace. Akt o umělé inteligenci (AI Act) sice pro volně šířené modely zmírňuje část povinností, výjimka se ale nevztahuje na vysoce rizikové systémy. Do této kategorie může spadat software, který slouží jako bezpečnostní součást strojního zařízení podléhajícího evropským pravidlům o bezpečnosti výrobků. Kdo by Praxis-1 nasadil do robota uváděného na trh v EU, musel by proto počítat s posouzením shody, řízením rizik a dokumentací. Odpovědnost přitom ponese výrobce či integrátor stroje, nikoli autor otevřeného modelu.
Kde jsou hranice
Podle výzkumné zprávy si model občas plete podobně vypadající předměty a potíže mu dělají vágní pokyny. U delších úkolů je potřeba jednotlivé kroky vypsat, protože složitější posloupnost úkonů zatím spolehlivě nenaplánuje.
Runway proto Praxis-1 chápe především jako systém pro rychlé provádění pohybů. V budoucnu by mohl fungovat ve dvojici s obecnými jazykovými modely, které složitou zakázku rozloží na jednotlivé kroky. Pro provoz je tento rozdíl podstatný: plánovací vrstva by pak určovala, co se má udělat, a Praxis-1 by řešil, jak to provést. Obě části jsou ovšem pravděpodobnostní, takže chyby v plánu i v provedení se mohou sčítat. Zda výsledky obstojí i v nezávislém měření a zda video skutečně zlevní učení robotů, ukáže až práce týmů, které si model nyní mohou samy stáhnout.
