Microsoftští výzkumníci používají ChatGPT k instrukci robotů a dronů

ChatGPT od společnosti OpenAI není jen dobrý v generování soudružného textového odpovědí na přirozené jazykové podněty - může také hrát roli v interakcích člověk-robot a používat zpětnou vazbu ze senzorů pro psaní kódu pro akce robota.

Microsoft nedávno provedl výzkum, aby "zjistil, zda může ChatGPT myslet nad rámec textu a uvažovat o fyzickém světě a pomoci s robotickými úkoly." Cílem bylo zjistit, zda lidé mohou použít ChatGPT k instruování robotů bez nutnosti učit se programovací jazyky nebo porozumění robotickým systémům.

V hloubce: Tito odborníci se snaží zabezpečit AI proti hackerům. Čas vypršel

"Hlavní výzvou zde je naučit ChatGPT jak řešit problémy s ohledem na zákony fyziky, kontext provozního prostředí a to, jak fyzické akce robota mohou změnit stav světa," poznamenává tým Microsoft Autonomous Systems a Robotics Research v blogovém příspěvku.

Badatelé ze společnosti Microsoft zkoumali schopnost ChatGPT generovat kód, převážně v jazyce Python, pro robotické scénáře, jako je plánování bez příkladů a generování kódu, poté, co byl ChatGPT umožněn přístup ke datům o detekci objektů a vzdálenosti objektů prostřednictvím aplikčních rozhraní.

ChatGPT se může vytvářet kód, protože byl trénován na velkém množství kódu a psaného textu. Systém se ukázal být schopným řešit programovací problémy a ladit programy s přidanou jedinečnou schopností reagovat na dialog a hledat vyjasnění. Existuje také Codex, model založený na GPT-3 od OpenAI, který představuje základ spárované programovací služby GitHub Copilot, která automaticky doplňuje kód pro vývojáře v několika jazycích.

Také: Co je ChatGPT? Zde je vše, co potřebujete vědět

S ohledem na tyto schopnosti dialogu a vysvětlování, Microsoft otestoval schopnosti ChatGPT jako jazykového rozhraní mezi nestrojově zdatným uživatelem a drone. Jak poznamenávají výzkumníci v dokumentu, zatímco GPT-3, LaMDA a Codex ukázaly svůj potenciál při plánovacích a kódovacích úlohách při robotice, je ChatGPT "potenciálně všestrannějším nástrojem pro oblast robotiky, protože kombinuje sílu přirozeného jazyka a modelem generujícím kód spolu s flexibilitou diaogu."

Výzkumníci uvádějí ve svém blogovém příspěvku: "ChatGPT pokládal doplňující otázky, když byly instrukce uživatele nejasné, a psal složité kódové struktury pro dron, jako je závitovitý vzor pro vizuální kontrolu polic."

Microsoft otestoval ChatGPT, který použil robotickou paži pro posouvání bloků tak, aby se vytvořilo logo společnosti Microsoft. Výzkumníci dále zadali ChatGPT algoritmus pro řízení drone, který má dosáhnout bodu bez srážky s překážkami. Dále bylo testováno, zda může ChatGPT na základě zpětné vazby z senzorů v reálném čase rozhodnout, kam by měl robot jít.

Výzkumníci z Google Research a společnosti Everyday Robots, kterou vlastní Alphabet, také pracovali na podobných výzvách robotiky pomocí velkých jazykových modelů s názvem PaLM, neboli Pathways Language Model, který pomáhal robotovi zpracovat otevřené dotazy a odpovídat rozumným způsobem.