九州工業大学大学院生命体工学研究科および北九州市立大学の学生が中心となって結成しているチーム「Hibikino-Musashi@Home（以下、HMA）」が、2024年7月17日（水）〜21日（日）にオランダ・アイントホーフェンで開催された世界最大のロボット・人工知能競技会「RoboCup 2024」の＠ホームDSPLに出場し、世界大会で優勝という快挙を達成しました！世界の強豪チームを相手に、RoboCup 2017年、2018年の世界大会連勝以来、3度目の優勝です。

■RoboCup について

ロボカップは自律移動型ロボットによる競技会であり、@ホームリーグは、家庭やオフィスといった人間の生活空間で人間と協力して働くサービスロボットの性能を評価するリーグです。ロボットには、人間と自然な意思疎通を行い、周辺の環境を認識し、自ら行動を計画し実行するための高い人工知能の能力が求められます。

■Hibikino-Musashi@Home（HMA）

HMAは「人間と共存可能な家庭用サービスロボットの実現」を目標にロボットの開発に取り組んでいる九州工業大学及び北九州市立大学の学生からなるチームです（主指導教員: 九州工業大学大学院生命体工学研究科 田向権教授）。ロボットはコンピュータサイエンス、人工知能、ロボット工学をはじめとする工学分野の成果の集大成です。本大会に出場したロボットには、HMAの研究開発の成果はもちろん、チームに所属している多様なバックグラウンドを持つメンバーの研究成果が実装されているほか、ニューロモルフィックAIハードウェア研究センターの分野横断の研究開発がロボット応用の出口へと結びつき、日々、その性能を進歩させています。

 HMAは、学生プロジェクトや、カーロボAI連携大学院より支援を受けております。九州工業大学では、同窓会である明専会や企業と連携し、学生グループによる創造的なプロジェクトに対し、その活動を強力にサポートしています。また、この成果の一部は、国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)の委託業務(JPNP16007)の結果得られたものです。

■RoboCup@Home2024 DSPL部門 優勝インタビュー

九州工業大学の井上 創造 教授（九州工業大学大学院生命体工学研究科人間知能システム工学専攻）がインタビュアーとなりHibikino-Musashi@Homeのメンバーである水谷 彰伸さん（九州工業大学大学院生命体工学研究科人間知能システム工学専攻 博士後期課程2年）と磯本 航世さん（九州工業大学大学院生命体工学研究科人間知能システム工学専攻 博士前期課程2年）に大会の様子や心境などを伺いました。

—————————————–

井上　こんにちは、井上 創造です。世界大会優勝という、嬉しいニュースが入ってきました。優勝チームの水谷さんと、磯本さんにお話を伺います。

―まずは、お二人の自己紹介をお願いします。

水谷　九州工業大学 大学院生命体工学研究科 博士後期課程2年生の水谷 彰伸です。普段はホームサービスロボットの知能、特に記憶に関するモデルの研究をしています。

磯本    九州工業大学 大学院生命体工学研究科 人間知能システム工学専攻 博士全期課程2年の磯本航世です。ホームサービスロボットの研究と、人工知能の組み込み応用について研究しています。

井上　ありがとうございます。お二人とも家庭内のロボットを研究されていますが、今回はその研究の傍ら、世界的なコンペティションであるロボカップ@ホームリーグで優勝されました。

―ロボカップについて簡単に教えていただけますか？

コンペティションでは、家庭内でお行儀が悪い人を想定したタスクも！

水谷　ロボカップは1997年に始まったロボットの競技会です。もともとはサッカーロボットの大会でしたが、2007年から＠ホームリーグが誕生しました。このリーグでは生活支援ロボットの実用化を目指しており、例えば朝食を持ってくるタスクやお客さんを案内するタスク、また人からの依頼を聞き取りタスクを実行するなど、人の生活を支援するロボットの開発を競っています。私たちはトヨタが作っているヒューマンサポートロボット（HSR）を使って、人工知能の対決を行うDSPL部門に出場しました。

井上　具体的に家庭内の生活空間を再現した環境でロボットがタスクをこなすんですね。

―競技の難易度や、優勝するために必要なポイントについて教えてください。

水谷　競技会に出るためには、まず論文のようなものを書き、ロボットを動かせることを証明する必要があります。今回は世界中から予選を勝ち抜いた10チームがDSPLに参加し、3つのステージで競い合います。ファーストステージでは基本的な性能を評価され、セカンドステージでは10分間の高度なタスクに取り組みます。ファイナルステージでは自分たちで課題を設定し、プレゼンとデモンストレーションを行います。

井上　単純に競技だけでなく、論文やプレゼン、同時にロボットのデモンストレーションも行う競技会なのですね。

―次に、磯本さんのチームの中での役割について教えてください。

磯本　私はチームリーダーとして、マネジメントを中心にタスク振りやスケジュール管理を行っていました。また、「Stickler for the Rules」というタスクのプログラムも制作しました。この競技では、家の中でのルールを守る人を見つけて注意するタスクをロボットがこなします。具体的には、入ってはいけない部屋の中にいる人を追い出す、全員に飲み物を持たせる、家の中で靴を脱がせる、ゴミを捨てないようにするなどのルールを守らせるという内容です。

井上　ちょっと行儀が悪い人がいる想定ですが、意外と実用的なタスクですね。もしそんな人がいたら対応力が求められるという意味で重要なタスクですね。 

―今回の競技会で実際に勝因となった技術的なポイントは何ですか？

生成AI（大規模言語モデル：LLM）だけでは勝てなかった

磯本　大規模言語モデル（LLM）の活用が大きなポイントでした。例えば、命令を理解して、適切な順序でタスクをこなす能力をLLMに任せて、画像から情報を抽出する能力を活用しました。また、LLMの使い方やプロンプトの入力方法が重要で、それをうまく活用できたことが勝因です。

井上　意地悪な質問かもしれませんが…

―実際、他のチームでもLLMを使ってると思いますが、なぜそれが勝因なのですか？

磯本　LLMを使うだけではなく、ロボットとの動作の組み合わせが大きく関わってきます。例えば、命令を理解して適切な順序でタスクをこなす際のプロンプトの入力方法が重要です。また、LLMを使う際に例外的な値が出てきた場合の対処方法や、全体的なロボットのシステム構造も工夫が必要です。

井上　なるほど、LLMに入力するいわゆるプロンプトだけではなくて、ロボットの制御など、これまでの技術の蓄積とうまく組み合わせることができたことが、勝因となったのですね。

―1番難しかった技術的なポイントを教えてください。

磯本　特に難しかったのはマニピュレーション、つまり物を掴んだり置いたりする部分です。物体によって適切な掴み方や置き方が異なり、失敗すると物を落とす危険性があります。認識とロボットの動作を組み合わせる必要があり、ここはまだまだ発展の余地があると感じました。

水谷　技術的な点以外では、ロボットを確実に動かすことが重要でした。競技会では限られた時間内でロボットを動かす必要があり、システムの安定性やチームの連携が重要です。いつでもロボットを完璧な状態に保つための”チーム力”が優勝に繋がったと思います。

井上　なるほど、技術だけでなく実現力も重要ですね。システムやロボットの安定感、ロバストネス、つまり想定できない環境への対応力などがありますね。実際に現場で使うときには、これが特に重要なので、私もこれも技術の一部と言っていいんじゃないかと思いますね！

急に現場に入れるベテランのようなAIを・・・

水谷　他にも、ロボットの動作の組み合わせや、どのような命令が来るかを想定し、それに対応できるように準備することが重要です。例えば、レストランでのタスクでは、お客さんを探し注文を取る、指定されたものを掴んで運ぶといった一連の動作が求められます。これには環境の地図を作る能力や、人とのやり取りの柔軟性も必要です。

井上　なるほど、例えば、レストランでのアルバイトを例にすると、最初に入ってきたばかりの素人のアルバイトは、挨拶の仕方や注文の取り方など一つ一つ教えないといけません。次に、少し経験を積んだアルバイトは、マニュアル通りに教えたことをこなせるようになります。しかし、環境を変えると再度学び直しが必要ですよね。でも今回のロボットはそれらが最初からきちんとできるということですね。

水谷　はい、私たちが目指しているロボットは、ベテランのアルバイトのように、全く新しい環境でも柔軟に対応できる、例えば、お客さんを探して注文を取る、指定されたものを掴んで運ぶといった一連の動作を、その場で即座に行える能力を持つロボットなんですね。

井上　全国のレストランでアルバイトしている学生さんは、すぐにこのロボカップに出場した方がいいかもしれないですね（笑）。今日はありがとうございました。九州工業大学の水谷 彰伸さんと磯本 航世さんにお話を伺いました。Hibikino-Musashi@Homeのみなさん、おめでとうございます。

—————————————–

このインタビューの音声は、情処ラジオで公開されます。

（https://www.ipsj.or.jp/annai/committee/info-WP/josyo-radio.html）

RoboCup@Home 2024の大会ダイジェスト動画（YouTube）です。

RoboCup@Home 2024 HMA Digest（YouTube）

関連リンク

◇  Hibikino-Musashi@Home

◇  ニューロモルフィックAIハードウェア研究センター

◇  九州工業大学