Japan
サイト内の現在位置
システム制御
研究グループ2025年2月21日
NEC データサイエンスラボラトリー システム制御グループは、大規模・複雑化する実世界の様々なシステムを最適に制御することで、安心・安全で効率的な社会の実現を目指しています。
実世界は不確実性にあふれています。さまざまな環境の変化を察知し、自ら適応・学習することで、システムを自律化・効率化する制御技術の研究開発に取り組んでいます。
研究紹介
世界的な労働力の不足、人協働型ロボットの普及に伴い、ロボットの活用範囲の拡大が期待されています。しかし、複雑な作業の組み合わせが要求される場合や、ロボットの動作環境が頻繁に変更となる場合には、ロボット導入にかかる設計や調整の工数が膨大になり、導入の障壁となっています。そのようなダイナミックで不確実性の高い環境でも、安全性を確保しながら、設置したらすぐ動き、作業の流れや動作を自ら学習するロボットを実現するロボット制御アルゴリズムの研究開発を行っています。
世界モデルを応用したロボット制御技術
ロボットに実行させる作業のなかでも、ハンドリング作業は、扱う物品の形状・配置などが多様なケースや、扱う物品や作業レイアウトが頻繁に変わるケースが存在します。このようなケースにおいては事前設定が困難、かつ事前学習に多大な時間がかかることから、ロボット導入は一部のハンドリング作業に限定され、多くの現場では人手に頼っています。
NECでは、世界モデルを活用したロボット制御AIの研究開発に取り組んでいます。世界モデルとは、ある行動の結果として実世界で何が起こるかを、現実に試すことなく予測することを可能にする技術です。例えば、物品をつかんでいる状態で手を離すと、重力で物品が床に落下します。その後、手を離したときの物品の姿勢に応じて、物品が倒れるなどしたうえで、静止します。人間は過去の経験により蓄積した常識に基づき、行動の結果として将来どうなるかを想像して適切に行動することができます。しかし同様のことをロボットで実現するためには、これら常識を網羅的にプログラムする必要があり、ロボットの自律制御における大きな課題となっています。世界モデルは、ロボットが実世界の構造や常識を理解して、将来を想像しながら行動を決定する、自律制御の実現におけるキー技術として期待されています。
NECはこれまでに、世界モデルをロボットのハンドリング制御に応用し、過去に試したことのない作業条件でも失敗の少ない最適な動作を自律生成・実行する技術を開発しました。具体的には、ロボット制御向けの世界モデルである「動作予測モデル」を考案。動作を実行する前に本モデルを用いることで、作業条件に応じた成功率の高い動作候補を生成・選択できるようにしました。また事前学習にかかる時間の長大化に対しては、能動学習手法を導入し、次に学習すべき物品の配置や作業などのパターンを自動設定することで、学習時間の大幅短縮に成功しました。
本技術により、学習したものと異なるサイズ・形状で、不規則に置かれた物品に対しても、的確につかんで所定の位置と向きに正しく置くことができるようになります。今後は、より複雑な作業に対応するための技術強化を進め、早期の現場活用を目指します。
＜デモ動画＞
目標指向タスクプランニング
ロボットに作業をさせるために、一般的には専門家によるティーチング（作業目標を達成する一連の作業手順の設計、および作業手順に沿ってロボットを動作させる制御命令の作成と設定）が手動で行われています。しかし、物品整列や箱入れ等の複雑な手順を要する作業では、作業手順とロボットの動かし方を最適化するため、ときには数時間にわたり試行錯誤しながらティーチングする必要があり、ロボットの導入や活用の阻害要因となっていました。
NECは、作業目標を指示すると、目標を達成する作業手順とロボットの実際の動かし方の両方を一括で最適計画できる独自モデルを考案しました。具体的には、物を掴む/運ぶ/離すなど作業手順の切り替わりを表現する離散変数と、各作業手順でのロボット動作のダイナミクスを表現する連続変数とを組み合わせたハイブリッドシステムでシステムモデルを構築し、作業目標に至る一連の作業手順と、各手順でのロボットの動かし方を自動で最適計算します。これにより、例えば「複数の部品を棚上のトレイに仕分ける」という作業目標を指示すれば、部品を仕分ける各手順の動作タイミングまで正確に予測した上で、ロボットが安全かつ効率的に作業を実行できる最適な作業手順を計画できます。
本技術によって、作業変更が頻発する場合やロボット作業環境が変化した場合でも、指示された作業目標を達成するための最適計画をその場で自動生成し、ロボットの継続的な活用が可能となります。
＜デモ動画＞
遠隔操作支援技術
様々な物品を扱う環境での作業をロボット化する手段として、人が目の代わりとなってロボットを遠隔操作する遠隔操作ロボットが注目を集めています。しかし、従来の遠隔操作ロボットでは、カメラ映像を見ながらゲームコントローラなどを利用してロボットの手先を操縦するため、手先位置の微調整や衝突回避など操作者にスキルが必要でした。くわえて、操作者が一台のロボット操作にかかりきりになるため、一人一台の操作が限界であり、作業効率向上が課題でした。
NECは、ピック＆プレイス作業におけるロボット導入のハードルを下げるとともに、作業の生産性を大幅に向上できる技術として、「目標指向タスクプランニング」を応用した「遠隔操作支援技術」を開発しました。
具体的には、市販のロボット・カメラと組み合わせた試作システムにおいて、現地のカメラ映像をタブレット画面に表示し、操作者が運びたい物品を画面上から指定するだけで、ロボットが物品を指定のトレイにピック＆プレイスします。これにより、従来ロボットが物品を自動認識するのに必要だった、物品情報の事前登録作業注1）を省略できるため、非常に多様な物品を扱うような作業でもすぐにロボットの利用を開始できます。また、ロボットアームの動きは「目標指向タスクプランニング」が自動で準備するため、非熟練者でも簡単にロボットを操作できます。加えて、人の介在が必要なのはロボットに作業指示を与える数秒間だけなので、操作者1人が複数台のロボットを同時並列操作でき、作業効率が大幅に向上します。具体的には、操作者1人がロボット8台を同時並列で作業待ちの状態なく遠隔操作できることをシミュレーションで実証しました。これは、操作者1人当たりの作業効率が人手での作業に比べて4倍に相当することを示しています注2）。
本技術を通じて、非熟練者でも簡単に遠隔からロボットを操作して作業を実行させることが可能になります。我々は、現場作業の省人化とリモートワーク化を促進し、今後、時間や空間の制約を超えたフレキシブルな働き方の拡大に貢献します。
- 注1）物品の画像撮影、認識システムへの登録、認識用パラメータの登録など。一般に、一品あたりの作業に数十分～数時間を要する。
- 注2）ロボット1台当たりの作業効率が人手での作業の2分の1になると仮定
＜デモ動画＞
最近の研究成果
国際学会
- Kenji Fukuda, Masaki Yamakita and Hiroyuki Oyama, “Online 3D Bin Packing Using a Combination of Tree Structures and Deep Reinforcement Learning,” 2024 IEEE International Conference on Robotics and Biomimetics (ROBIO2024), (in press).
- Mineto Satoh, Rin Takano and Hiroyuki Oyama, "Extensive, Long-term Task and Motion Planning with Signal Temporal Logic Specification for Autonomous Construction," 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2024), pp. 105-112, 2024.
- Rin Takano, Kei Takaya and Hiroyuki Oyama, “NFPDE: Normalizing Flow-based Parameter Distribution Estimation for Offline Adaptive Domain Randomization,” 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2024), pp. 11804-11811, 2024.
- Shumpei Tokuda, Masaki Yamakita, Hiroyuki Oyama and Rin Takano, “Temporal-logic-based Exploration and Execution of Markov Decision Processes using Recursive Gaussian Processes,” 2024 IEEE 20th International Conference on Automation Science and Engineering (CASE), pp. 410-417, 2024.
- Mineto Satoh and Tatsuya Yoshimoto, “A fault-tolerant collision avoidance architecture for autonomous excavators using digital twin-based predictive and real-time detection,” 2024 IEEE 20th International Conference on Automation Science and Engineering (CASE), pp. 4068-4074, 2024.
- Naoya Sogi, Hiroyuki Oyama, Takashi Shibata and Makoto Terao, “Future Predictive Success-or-Failure Classification for Long-Horizon Robotic Tasks,” 2024 International Joint Conference on Neural Networks (IJCNN 2024), pp.1-8, 2024.
- Manao Machida and Masumi Ichien, “Stability Analysis of Distance-Angle Leader-Follower Formation Control,” 2024 IEEE International Conference on Robotics and Automation (ICRA 2024), pp.12055-12061, 2024.
- Shumpei Tokuda, Masaki Yamakita, Hiroyuki Oyama, and Rin Takano, “Robust Signal Temporal Logic-based Planning for Uncertain External Events,” 2023 IEEE International Conference on Robotics and Biomimetics (ROBIO2023), pp. 1-7, 2023.
- Mineto Satoh, Akhilesh Bhat, Kenichi Tatsumi and Tamano Usami, “A Multi-Purpose Autonomous Mobile Robot as a Part of Agricultural Decision Support Systems,” 2023 IEEE 19th International Conference on Automation and Engineering (CASE): pp. 1-6, 2023.
- Rin Takano, Hiroyuki Oyama and Yuki Taya, "Robot Skill Learning with Identification of Preconditions and Postconditions via Level Set Estimation," International Conference on Intelligent Robots and Systems (IROS 2022): pp. 10943-10950, 2022.
- Kei Takaya, Rin Takano and Hiroyuki Oyama, "Metaheuristics Approach for Mathematical Programs with Switching Constraints and Application to Robotic Task Planning," 2022 IEEE International Conference on Systems, Man, and Cybernetics (SMC2022), pp. 77-84, 2022.
- Shunpei Tokuda, Masaki Yamakita, Hiroyuki Oyama, and Rin Takano, "Linear Temporal Logic-based Mixed-Integer Linear Problem Planning with the Koopman Operator," 48th Annual Conference of the IEEE Industrial Electronics Society (IECON2022), pp. 1-6, 2022.
- Mineto Satoh, "Digital Twin-based Collision Avoidance System for Autonomous Excavator with Automatic 3D LiDAR Sensor Calibration," 2022 IEEE 18th International Conference on Automation Science and Engineering (CASE), pp. 1267-1273, 2022.
- Shumpei Tokuda, Masaki Yamakita, Hiroyuki Oyama and Rin Takano, "Zeroing Control Barrier Function with Time Scale Transformation for Time Interval Signal Temporal Logic Task, "The 6th IEEE Conference on Control Technology and Applications (CCTA2022), pp. 225-232, 2022.
- Takuma Kogo, Kei Takaya and Hiroyuki Oyama, "Fast MILP-based Task and Motion Planning for Pick-and-Place with Hard/Soft Constraints of Collision-Free Route," 2021 IEEE International Conference on Systems, Man, and Cybernetics (SMC2021), pp. 1020-1027, 2021.
- Kei Takaya and Takuma Kogo, "Fast MILP-Based Task and Motion Planning for Pick-and-Place by Constraining Least Time Steps of Carry/Approach Actions," The Society of Instrument and Control Engineers (SICE) Annual Conference 2021, (position paper), 2021.
- Manao Machida and Masumi Ichien, "Consensus-Based Artificial Potential Field Approach for Swarm," The 2021 IEEE Conference on Decision and Control (CDC 2021), pp. 6671-6677, 2021.
- Shumpei Tokuda, Masaki Yamakita, Hiroyuki Oyama and Rin Takano, "Convex Approximation for LTL-based Planning," International Conference on Intelligent Robots and Systems (IROS 2021), pp. 9863-9869, 2021.
- Rin Takano, Hiroyuki Oyama and Masaki Yamakita, "Continuous Optimization-Based Task and Motion Planning with Signal Temporal Logic Specifications for Sequential Manipulation," International Conference on Robotics and Automation (ICRA 2021), pp. 8409-8415, 2021.
- Manao Machida and Masumi Ichien, "Consensus-Based Control Barrier Function for Swarm," International Conference on Robotics and Automation (ICRA 2021), pp. 8623-8628, 2021.
- Mizuho Katayama, Shumpei Tokuda, Masaki Yamakita and Hiroyuki Oyama, "Fast LTL-Based Flexible Planning for Dual-Arm Manipulation," International Conference on Intelligent Robots and Systems (IROS 2020), pp. 6605-6612, 2020.
- Shumpei Tokuda, Mizuho Katayama, Masaki Yamakita and Hiroyuki Oyama, "Generating New Lower Abstract Task Operator using Grid-TLI," International Conference on Intelligent Robots and Systems (IROS 2020), pp. 6578-6584, 2020.
- Kumiko Tadano and Yoshiharu Maeno, "Scalable control system for dense transfer vehicles in flexible manufacturing," IEEE CCTA 2019, pp. 325-331, 2019.
- Takuma Kogo, Masanori Tsujikawa, Yukihiro Kiuchi, Atsushi Nishino and Satoshi Hashimoto, "Model Predictive Control of Shallow Drowsiness: Improving Productivity of Office Workers," The 41st International Engineering in Medicine and Biology Conference (EMBC 2019), pp. 2459-2465, 2019.
- Manao Machida, "Polynomial-Time Multi-Agent Pathfinding with Heterogeneous and Self-Interested Agents," Proceedings of the 18th International Conference on Autonomous Agents and MultiAgent Systems (AAMAS), pp. 2105-2107, 2019.
国内学会
- 枌 尚弥, 大山 博之, 柴田 剛志, 寺尾 真, "長期の未来予測を用いたロボット制御計画の成否識別," 第26回画像の認識・理解シンポジウム(MIRU2023), OS2B-S1, 2023.
- 枌 尚弥, 大山 博之, 寺尾 真, "未来の状態予測を用いたロボット制御計画の成功・失敗識別," パターン認識・メディア理解研究会（PRMU), pp. 25-28, 2022.
- 田屋 裕輝, 高野 凜, 大山 博之, "ロボットのスキル学習を用いたピック&オペレーションシステムの構築," パターン認識・メディア理解研究会（PRMU), pp. 29-33, 2022.
- 大山博之, 定本知徳, 高野凛, "スムーズ関数を用いた非線形制約の学習," 第9回 制御部門マルチシンポジウム(MSCS2022）, 1G1-3, 2022.
- 大和田卓宏, 佐藤峰斗, "ロボット把持に向けたモデルフリーな3次元物体認識手法," 2021年電子情報通信学会総合大会, D-11-16, 2021.
- 大山博之, 伊藤岳大, 佐藤峰斗, 片山瑞穂, 徳田俊平, 山北昌毅, "時相論理を用いた双腕ロボットの自律制御", 第7回 制御部門マルチシンポジウム(MSCS2020）, 1D1-3, 2020.
- 大山博之, 伊藤岳大, 佐藤峰斗, "制御バリア関数を用いた協働ロボットアームの制御," 第37回日本ロボット学会学術講演会 1E1-04, 2019.
- 町田真直, "マルチエージェント経路計画のためのエージェントグループ化を伴う正直申告メカニズム," 人工知能学会全国大会(第33回)，2019.
システム制御グループに関するお問い合わせは下記からお願いします。
お問い合わせ
