近年、自動運転や二足歩行ロボットの自律化に向け、物理AIやEmbodied AIに関する技術が注目されています。そのような個別の機器をAIで自動化する技術に加え、今後は複数の機器や人を協調させ、システムとして全体最適を図る技術が重要になってきます。NECではそのような協調を実現する技術として「実世界エージェント」の研究開発を進めています。実世界エージェントでは、生成AIの出力を実世界の運用に現実的に適用できるものにする技術が重要となります。本稿ではNECにおける実世界エージェントの検討と、製造や物流領域における応用例について述べます。

1. まえがき

近年、AIの自動化のレベルや適用領域が急速に拡大し、実社会へ与えるインパクトが大きくなっています。これまでのAIでは数値やカテゴリの予測、画像認識が中心でしたが、生成AIや大規模言語モデル（Large Language Model：LLM）の登場によりAIはコンテンツを生成できるようになってきました。また、生成するコンテンツもテキストのみならず画像やロボット動作まで広がってきています。更に最近では、AIが人の代わりにタスクの実行を担うAIエージェントも注目を集めています。

AIの実世界の制御や最適化への応用としては、自動運転や二足歩行ロボットの自律化を目指した物理AIや Embodied AIが注目されています^1）。NECでは、これら個別機器のAIによる自動化技術に加え、今後は複数の機器や人を協調させシステム全体として最適化する技術が重要になると考えています。本稿では、そのような協調を実現する技術として、NECが研究開発を進めているLLMを活用した「実世界エージェント」について述べます。

実世界エージェントは、工場や倉庫などの実世界の運用を、人を適切に補助しながら最適に自動化、あるいは半自動化することが期待されています。ただし、実世界エージェントは実世界の運用にAIを活用していく試みであるため、LLMに特有の「それらしく見えるが実は間違った回答（ハルシネーション）」をそのまま現実世界に適用することはできません。本稿では実世界エージェントにおいて現実世界の運用に適用可能な回答をAIから得るための仕組みや、実世界エージェントの適用が期待される応用領域について述べます。

2. 生成AIを実世界に適用する際の課題

実世界の現場作業を自動化するには、実用的な時間内に高い信頼性と安全性を満たす計画を策定する必要があります。LLMのような生成AIを導入する場合でも、物理的な制約や動特性が絡む複雑な最適化問題に対して、論理的に正しくかつ実世界の動作に対して実行可能な解を実時間内に生成しなければなりません。

生成AIを用いて実世界でのタスク実行のための計画を生成する場合、得られる解の実行可能性が課題となります。LLMのような生成AIは、大規模かつ多様な知識を学習しており、従来のプランナーでは対応が難しかったタスクに対しても計画を生成できる可能性があります。実際、LLMを活用した計画技術も多数提案されています。しかし、それらは一見正しそうな計画を出力しますが、タスク条件や環境、ロボットなどの物理的な制約を十分には理解していない可能性があり、実世界で高い信頼性と安全性を持って動作を保証することができません。例えば、ロボットの自動化に適用する場合、物理的な制約により計画通りに動作を実行できない、障害物と衝突してしまうといった問題が発生する可能性があります。これらの問題は、取り組むタスクの複雑さや環境の規模が大きくなるほど、より顕著になります。

また、生成AIで生成される解の品質は、AIの指示に用いられるテキストプロンプトの構造と内容に大きく影響されます。そのため、実世界の複雑な問題に対する最適なテキストプロンプトをいかに作成するかも課題です。実世界の作業には、各タスクの細かな条件や物理法則に基づくテキストでは表現が困難な制約が多数存在します。十分な信頼性と安全性を持った計画を作成するためには、生成した解を確認し、必要に応じてテキストプロンプトを改善するというAIとのやり取りを繰り返す必要があります。そのため、この試行錯誤を人手で行うことは非現実的であり、実用的な時間内に実世界で実行できる計画を作り出すことが困難となります。

3. 生成AIを活用した実世界の計画自動化フレームワーク：実世界エージェント

NECでは実世界での実用的な計画を生成するためのフレームワークとして、複数のLLMが協調的に推論を行う「実世界エージェント」の研究開発を進めています （図1）。実世界エージェントは、計画の実現可能性を検証し、その結果に基づいて反復的に全体計画の最適化を行います。

本フレームワークは、全体を統括するオーケストレータLLMと、実世界で行動・作用を起こす人やロボットなどに割り当てられるサブタスクを担当する個別LLMで構成されています。オーケストレータLLMは、全体の目標とタスク構造を把握し、タスクをサブタスクに分割して個別LLMに割り当てます。個別LLMは割り当てられたサブタスクを実行するための計画を生成します。生成された計画は、物理シミュレータや実世界の知識、物理制約が組み込まれた世界モデルなどの行動予測モデルを用いて、実行可能性の検証が行われます。この検証結果はオーケストレータLLMにフィードバックされ、それに基づいてオーケストレータLLMはプロンプトを自動で改善し、より適切なタスク分割と割り当てを生成する処理を行います。これら一連の処理を繰り返し行うことで、全体として最終的に最適な計画を生成します。

このような構成と処理により、大規模な実世界のタスクに対しても、実行可能な解を自動で生成することができます。LLMの役割を対象となるドメインに合わせて設定することで、さまざまな分野における実世界の行動・動作の自動化を実現できます。

4. 実世界エージェントの応用

4.1 製造領域での応用

産業規模が大きい自動車の製造工程においては、数百に及ぶ多段階工程を経て1つの製品が完成します。このような複雑な工程管理のもと、各工程でのサイクルタイム要件を満たしつつ溶接や塗装などの作業を最適に割り振る工程設計は、従来、人手による試行錯誤を伴う作業であり、多大な時間と労力を要していました。特に溶接工程では、数千に及ぶ溶接打点を数十の工程に分配する必要がありますが、ロボットの到達性やサイクルタイムなどの厳格な制約条件を満たさない場合には、分配のやり直しが発生します。このため、従来の工程設計には膨大な工数が掛かっていました。

実世界エージェントは、このような工程設計の課題解決に適用することができます（図2）。オーケストレータLLMは、溶接打点の分配や各工程の調整などを統括します。一方、個別LLMは各工程を担当し、オーケストレータLLMとの情報連携を行います。個別LLMは、割り当てられた工程に対して、ロボットの配置、打点の成立性、サイクルタイムなどを評価します。もし要求事項を満たさない場合には、その結果をオーケストレータLLMにフィードバックし、割り振りの再検討・最適化を行います。この反復的プロセスは、要求仕様を満足するまで継続されます。更に、ロボットの配置や打点の成立性、サイクルタイムの予測評価には実世界モデルを活用し、コスト関数を用いた評価・最適化を実現します。NEC内の原理的な評価は、実世界エージェントの導入により、人手で1カ月以上掛かっていた工程設計や動作検証作業を数日程度で完了できる可能性が示されています。このように実世界エージェントは製造工程設計の自動化及び効率化において、高い有用性を保持しています^2）。

4.2 物流領域での応用

近年、物流倉庫では人手不足が深刻化しており、現場作業の省人化及び効率化が重要な課題となっています。こうした背景から、AGV（Automated Guided Vehicle：自動搬送車）などの移動型ロボットを活用したピッキング業務の自動化など、さまざまな自動化ソリューションの導入が進んでいます。しかし、従来の倉庫環境にロボットを導入した場合、現場が非定型かつ動的であるため、複数台のロボットが互いに干渉することなく安全に移動し、更に不規則に配置された商品を適応的に取り扱うことは困難でした。

これらの課題に対して、実世界エージェントを適用することで、複数ロボットの自動スケジューリングを実現することができます。オーケストレータLLMは、出荷オーダーを基に各ロボットへのタスク分解を行います。個別LLMでは、ロボット同士の衝突回避や品物の把持可否、実作業時間（タクトタイム）など、非定型かつ動的な環境に対応するための評価を世界モデルを用いて行います。問題が検出された場合には、その情報をオーケストレータLLMにフィードバックし、パス計画の再検討を行います。

このように、階層的な計画立案とフィードバックのサイクルを繰り返すことにより、現場環境に適応した実行可能なパス計画を動的に算出できます。提案手法の有効性を検証するため、自動倉庫のピッキングタスクに対して、従来のLLMを用いたパス計画手法との比較実験を行いました。その結果、実世界エージェントは従来手法のタスク成功率40％を、95％まで向上させることを確認しました（図3）。

4.3 ITサービスでの応用

ITサービスの運用・保守業務では、ユーザーから多数寄せられるインシデントに対して、運用・保守担当者が対応しています。従来、運用・保守管理者は各担当者のスキル及び負荷状況を考慮しながらタスクの割り当てを行い、加えて、問題特定のためにユーザーとのコミュニケーションを重ねる必要がありました。その結果、タスク割り当ての最適化や問題解決までのリードタイムに課題がありました。

実世界エージェントは、IT保守サービスの運用を自動化することでこれらの課題を解決します。オーケストレータLLMでは、新規インシデント発生時に過去の対応履歴データベースから類似インシデントを検索し、今回取るべき対処法とその対応コストを算出します。その算出結果と、現時点における各担当者のタスク割り当て状況を基に、最適なタスクスケジューリングを自動で実施します。また、インシデント解決に必要な情報が不足している場合には、ユーザーから追加情報を自動的に取得するプロセスを組み込むことで、問題特定を効率化します。個別LLMは各担当者に割り当てられ、過去の対応履歴などから担当者ごとのスキルを予測し、割り当てられたタスクの実行可能性を評価します。タスク対応が困難と判断した場合は、オーケストレータLLMにフィードバックし、再度タスクスケジューリングを実施します。これを繰り返すことで、タスク割り当ての最適化を図ります。

このような実世界エージェントによる自動化手法により、ITサービスの保守・運用業務における担当者及び管理者にかかる工数の削減、並びにインシデント解決までのリードタイム短縮が期待できます。

5. むすび

実世界エージェントは、これまで生産機器の故障検知や出荷製品の検品を中心としていた実世界領域へのAI適用を大きく変える可能性があります。実世界エージェントは、工場の工程への投入スケジューリングの最適化や、物流倉庫における複数機器にまたがる協調スケジューリングなど、これまで人による試行錯誤やすり合わせで実現してきた自由度が高い運用の領域にも、AIによる自動化が適用できることを示唆しています。

今後は実際の工場や物流倉庫などの現場で検証と技術改良を重ね、実世界エージェントの実用化を進めることが重要になります。こうした技術の発展により、AIと産業システムが高度に融合・協調することで、より豊かな社会の実現が期待されます。

参考文献

執筆者プロフィール