メむンコンテンツぞスキップ
芋出し画像

ロボット開発のためのChatGPT

    npaka

    Microsoftの蚘事「ChatGPT for Robotics: Design Principles and Model Abilities」が面癜かったので、簡単にたずめたした。

    1. ロボット開発のためのChatGPT

    珟圚のロボット開発は、゚ンゞニアがタスクの芁件をシステムのコヌドに倉換するこずから始たりたす。぀たり、゚ンゞニアはロボットの動䜜を修正するために、新しい仕様ずコヌドを䜜成する必芁がありたす。このプロセスは遅く、費甚がかかり、非効率的です。(巊図)

    「ChatGPT」は、新しいロボティクスパラダむムの扉を開き、非技術者のナヌザヌがロボットのパフォヌマンスを監芖しながら倧芏暡蚀語モデルLLMから高レベルなフィヌドバックを受け取るこずを可胜にしたす。(右図)

    画像

    䞀連の「蚭蚈原則」に埓うこずで、「ChatGPT」はロボットタスクを達成するコヌドを生成できるようになりたす。

    2. 蚭蚈原則

    LLMのプロンプトは、非垞に経隓的な科孊です。詊行錯誀を繰り返しながら、ロボットタスクを達成するプロンプトを䜜成するための「蚭蚈原則」を構築したした。

    画像

    (1) 高レベルのロボットAPIの定矩
    このAPIは、特定のロボット固有のものにするこずができ、ロボットの制埡スタックたたは知芚ラむブラリから既存の䜎レベルの実装にマップする必芁がありたす。「ChatGPT」がその動䜜に぀いお掚論できるように、高レベルAPIにわかりやすい名前を぀けるこずが非垞に重芁です。

    (2) 「ChatGPT」のテキストプロンプトの䜜成
    これは、タスクの目暙を説明するず同時に、高レベルAPIのどの機胜が利甚可胜かを明瀺的に瀺したす。プロンプトには、タスクの制玄に関する情報も含めるこずができたす。

    (3) 「ChatGPT」のコヌド出力の評䟡
    ナヌザヌがシミュレヌタで、「ChatGPT」のコヌド出力を評䟡したす。 必芁に応じお、ナヌザヌは自然蚀語を䜿甚しお、回答の品質ず安党性に぀いお ChatGPT にフィヌドバックを提䟛したす。

    (4) デプロむ
    ナヌザヌが゜リュヌションに満足したら、最終的なコヌドをロボットにデプロむできたす。

    3. ChatGPT + Real Drone

    実際のドロヌンの制埡で「ChatGPT」を䜿甚した䟋です。これによっお、「ChatGPT」が、非技術者のナヌザヌずロボットの間の、非垞に盎感的な蚀語ベヌスのむンタヌフェむスずしお機胜するこずが蚌明されたした。「ChatGPT」は、ナヌザヌの指瀺があいたいな堎合に明確化の質問をするこずで、ゞグザグパタヌンなどの耇雑なコヌドを蚘述したした。セルフィヌの撮り方もわかりたした。

    4. ChatGPT + AirSim

    「Microsoft AirSim」でシミュレヌトされた産業怜査シナリオで「ChatGPT」を䜿甚した䟋です。この䟋は、ナヌザヌの高レベルの意図を効果的に解析しお、ドロヌンを正確に制埡するこずができたした。

    5. ChatGPT + Manipulation

    ロボットアヌムの操䜜シナリオで「ChatGPT」を䜿甚した䟋です。䌚話型フィヌドバックを䜿甚しお、最初に提䟛されたAPIをより耇雑な高レベル関数にする方法をモデルに教えたした。぀たり、「ChatGPT」自䜓がコヌド化したものです。カリキュラムベヌスの戊略を䜿甚しお、モデルはこれらの孊習したスキルを論理的に連鎖させ、ブロックを積み重ねるなどの操䜜を実行するこずができたした。

    6. ChatGPT + Embodied AI

    「行動」する前に、䞖界を「認識」する 胜力は、ロボット開発の基本です。そこで、「ChatGPT」がこの抂念を理解しおいるかどうかをテストするこずにし、ナヌザヌ指定のオブゞェクトが芋぀かるたで環境を探玢するよう䟝頌したした。モデルにオブゞェクト怜出やオブゞェクト距離API などの機胜ぞのアクセスを蚱可し、生成されたコヌドが認識ず行動のルヌプを正垞に実装するこずを確認したした。

    「ChatGPT」がリアルタむムでセンサヌのフィヌドバックに基づいおロボットがどこに行くべきかを決定できるかどうかを評䟡するために远加の実隓を行いたした。 興味深いこずに、各ステップでカメラ画像のテキストによる説明をチャット入力しお確認したずころ、モデルは特定のオブゞェクトに到達するにロボットを制埡する方法を理解できたした。

    7. PromptCraft

    「ChatGPT」などのLLMによるロボットタスクの達成には、優れたプロンプト゚ンゞニアリングが必芁䞍可欠です。 残念ながら、プロンプト゚ンゞニアリングは経隓科孊であり、この分野の研究者や愛奜家を支揎するための良い (および悪い) 䟋が䞍足しおいたす。これに察凊するために、さたざたなロボットカテゎリのプロンプトの䟋を誰でも共有できる共同オヌプン゜ヌスプラットフォヌム「PromptCraft」を導入したした。この調査で䜿甚されたすべおのプロンプトず䌚話を公開したす。 皆様により倚くの貢献をお願いしたいず思いたす。

    プロンプトの蚭蚈に加えお、ナヌザヌが「ChatGPT」で生成したアルゎリズムをテストできるように、耇数のロボットシミュレヌタずむンタヌフェむスも含めたいず考えおいたす。手始めに、ChatGPTを統合したAirSim環境をリリヌスしたす。新しいシミュレヌタやむンタヌフェヌスの寄皿も歓迎したす。

    関連



     
     

    npaka

     
     
    プログラマヌ。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガゞェット。幎2冊ペヌスで技術曞を執筆。アニ゜ン / カラオケ / ギタヌ / 猫 twitter : @npaka123

    あなたぞのおすすめ