2026年1月14日

生成AIが急速な進化を遂げるなか、いま次のステップとして「AIエージェント」への期待が高まっています。日々の業務に寄り添い、自律的にタスク分解して必要な業務プロセスを設計した上で、それぞれのタスクに最も適したAIやITサービスなどを選択し、業務を自動で実行する技術です。世界でも数々の有力企業が開発に取り組んでいますが、NECの業務を自動化するエージェント技術「cotomi Act」は今回、Webブラウザ上のタスクにおける国際的なベンチマークで世界トップのタスク成功率を達成し、初めて人間の成功率を超えることに成功しました。本技術は一体どのようなもので、どのように開発されたのか。研究者に詳しく話を聞きました。

「あれやっておいて」でも動く高い精度

― 「cotomi Act」とは、どのような技術なのか教えてください。

小山田：Webブラウザ上で行うメール送信や検索、物品購入、社内申請などのさまざまな操作を代行してくれるエージェント技術です。業務を常にサポートしてくれる同僚のような存在を目指して開発しました。タスク遂行の精度は世界トップレベルにあり、WebArena（注1）という国際的なベンチマークでは世界で初めて人間のタスク成功率78.2%を上回り、80.4%を記録しています（注2）。

この高い精度を実現しているのが、Webブラウザ上の作業ログからの学習です。多数のユーザの作業ログを分析しながら、どの人が、どんな業務のために、どのようなサイトでどのような作業をしているのかをリアルタイムに咀嚼し、一人ひとりのなかに存在しているノウハウを取得していきます。このおかげで、複雑なプロンプトを書かなくても、曖昧な指示だけでも動くことが可能です。極端なことを言えば、「あれやっておいて」でもかまいません。もちろん精度は多少落ちますが、直前の作業履歴を参照しながらコンテクストを把握し、該当すると思われる作業を推測してくれます。例えば、直前にメールで依頼がきた物品の購入を検討する作業をしていたら、ふさわしい物品を検索して購入してくれるというかたちです。

また、ベテラン社員のノウハウを抽出できることも大きなメリットです。インタビューしてマニュアルを作るまでもなく、抽出したノウハウを組織の資産として蓄積して若手社員に共有することも可能になります。

これまでにもエージェント自身のログを保存しておいて再利用するという技術はありましたが、人間の作業ログを解析して活用するというものは存在していませんでした。2025年のはじめにこのアイデアを思いついて2月から3月にかけて特許を出願し、その後半年ほどの期間で実装を進めてきたという次第です。

谷：世界中の競合が次々に世界トップという記録を塗り替えているような状況ですから、できる限り早い技術開発と広報発表をめざしました。当初は年末の発表を計画していましたが、8月に前倒ししています。「WebArenaでの成功率がXXパーセント達成」のように、××の数字の部分だけ空けた広報文を準備していたのですが、結果として「人間のタスク成功率を上回る」というさらに大きな成果まで達成できたときには驚きました。ひとえにこのチームの力だと思います。


小山田：この分野には名だたる競合がいますから、当初は世界トップの獲得は難しいと考えていました。ですので、はじめは汎用的な用途ではなく、業務を限定した特化型のAgentic AIとして作ろうとしていたんです。しかし、結果としては汎用的な業務においても競合を上回って、世界トップの精度を実現することができました。本当に、チーム全員の力だったと思います。ここにいるメンバーに加え、今日参加できなかった田村 拓也さん、槇尾 純太さん、矢野 太郎さんも大きな貢献をしてくれました。

タスク成功率30%から、地道な検証で80%超えへ

― コアエンジンの開発は、どのように進めていったのでしょうか？

榎本：大きく分けて2つの要素があります。1つは、先ほども話に出たユーザの行動履歴を学習していくという要素です。NEC独自の仕組みとして、新たに開発を進めていきました。もう1つは、他のAgentic AIを徹底的に調べてベンチマーキングし、うまく今回の目的に合致するものをつくり上げるという要素です。この両者を組み合わせることで、エンジンを開発していきました。

秋元：行動履歴の学習については公表できない部分も多いのですが、ログデータをどのように活用するかという点は大きなチャレンジの1つでした。生のログデータは膨大で、HTMLのページ情報が丸ごと入っているなど、関係のない部分もたくさん含まれています。そのなかから、どうやってノウハウを取り出していくかという課題は工夫が必要だったところです。さまざまなアプローチを試しては比較して、最善の方法を見つけていきました。

また、本技術によって取得したノウハウは言語化することもできます。ユーザが編集することもできるので、マニュアルの作成などにも活用できると考えています。


榎本：ベンチマーキングではとにかく手数が必要だったので、さまざまな方法を試していきました。というのも、私たちのコミュニティや論文で良いと言われている方法を試しても、実際には上手く動作しないことも多々あったからです。逆のことを試したら上手くいく場合もあったので、とにかく最初は何度も試行を繰り返したというかたちですね。さらに、できたエンジンをテストして調整を繰り返していきました。


小原：しかし、開発初期段階のテストでのタスク成功率は、わずか30%程度でした。そこから人間の成功率78.2%に近づけるために、一体どこにギャップがあるのかを分析し、工夫を重ねていきました。例えば、私たち人間はWEBページを一つの画面として見ていますが、Agentic AIには、ただのHTML構造しか見えていなかったりするわけです。このようなギャップを一つひとつ見つけては、その差を埋めるように調整していくのですが、これはさまざまな気づきのある興味深い工程でもありました。


張：加えて、評価する側でも間違いが起きる可能性があります。特に、Agenitc AIは自由に行動できるため、従来型のルールベースの評価では見落とすような正解にたどりつくこともあります。このような評価ミスに気付かないまま改善に向けた努力を進めると、間違った方向に開発が進んでしまいます。そのため、一つひとつ正確に修正しつつ、精度改善を進めました。


竹岡：そうですね。本当に最初のうちは何が起きているのか全くわからなくて、ただ上手くいった、上手くいかなかったという結果だけが出てくるというような状態でした。そこを一つひとつAI側の挙動なのか判定側のミスなのかを含めて深掘りして、一つひとつ解決していったかたちです。

Webアプリのインストールだけで導入可能

― 実際に導入する際には、何か特別な工程が必要なのでしょうか？

竹岡：いえ、必要ではありません。ブラウザにインストールするだけで導入できますが、お客様のもとにあるマニュアルなどのデータを読み込ませれば、より良いスタートを切ることも可能です。例えば新入社員向けのマニュアルなどをcotomi Actに読み込ませれば、記載された業務にはすぐに対応できます。さらに、その後実際に使用していただけば、マニュアルに載っていない作業やノウハウをどんどん学んで賢くなっていくというステップが踏めると思います。


榎本：読み込ませるデータは文書形式である必要はありません。画像や音声、図表やグラフなどのデータも読み込んで知見を獲得することができます。


小山田：NECは昨年リリースした技術「図表文脈理解」を保有しているので、幅広い形式のデータを活用することができます。

― サービス化の目処はいかがでしょうか？

谷：これまで私たちチーム内や社内での運用を進めてきましたが、この検証結果をもとにサービスとして整理することができました。2026年1月からソフトウェアやコンサルティング、運用保守サービスを組み合わせたソリューションとして、ご提供開始予定です。

ユーザの業務パフォーマンスを高める相棒へ

― 今後、cotomi Actにはどのような可能性があるでしょうか？

張：出張申請などの事務手続は、いまどこの会社でもシステムがかなり複雑なものになっているかと思います。新入社員の方にとっては、なおさらわかりづらい状態です。これに対し、cotomi Actはユーザの操作履歴からノウハウを引き出し、新入社員への支援システムをつくることが可能です。わざわざ申請方法を調べなくても、事務手続きはcotomi Actに任せて最終的な確認だけするということができるようになると思います。


竹岡：そうですね。自分が集中したい仕事に付随したさまざまな作業はcotomi Actに依頼して、あとで自分は確認だけするというような仕事のスタイルを実現したいというのが最初のステップです。次のステップとしては、自分の行っている業務と同じことを裏でしながら並走してくれて、途中でお互いに見合わせて確認したり議論したりできる相棒のようになるといいなと考えています。


小山田：仕事のパフォーマンス向上への活用ですよね。私も自動化についてはもう、どんな業務であってもだいたいできるだろうというところまで視野に入ってきたので、今後はユーザ自身の生産性を最大限に発揮するサポートをするという方向に持っていきたいと考えています。例えば、一人で仕事をしているときにはパフォーマンスが90くらいしか出ないものが、仲間と一緒に議論をしていると150にも200にもなったりするものですよね。だからこそcotomi Actがユーザの状態をリアルタイムに見ながら話しかけてモチベートしてくれたり、議論の相手になってくれたりするなどして、自分一人だけでは持ち得ない視点をプロアクティブに指摘してくれるような仕組みづくりには、これから取り組んでいきたいですね。


秋元：パフォーマンスという点で言えば、自分の最高の状態を保存するということも目指せるのではないかと考えています。1年前にやっていた業務を久しぶりにやってみると上手くいかないということって、ありますよね。私自身も過去に取り組んでいたモデル開発では手が自然とスムーズに動くようになるまでスーパーコンピュータを扱えるようになっていたのに、1年後にまたやってみるとなかなか上手く行かなくなったりします。私たち人間は、全ての仕事を100%の習熟度で保存しておくということはなかなかできないものです。そこで、一度習熟した仕事はcotomi Actによって形式知化して保存して任せてしまうことができれば、私たち人間は新しい業務の習熟に専念できるようになるはずです。そうすると、よりたくさんのことが同時にできるようになると思いますので、こうした使い方ができるようにcotomi Actは賢くしていけたらと考えています。

小原：はい。最終的には、リモート上では人かAIか区別できないような状態にさえなるのではないかと思います。cotomi Actには、それくらいのエージェント能力を発揮できるポテンシャルがあります。一方で、実地運用にあたってはセキュリティ対策なども、これまで以上に取り組んでいく必要があると認識しています。貴重なノウハウなどの情報を保護し、共有範囲を管理する仕組みをしっかりと構築していくつもりです。


榎本：可能性という話で言えば、ノウハウの取得レベルをさらに上げていくということも一つのビジョンです。例えば、現在はブラウザの操作履歴を取得していますが、操作がしばらく止まったりするとその間は何も情報を得ることができません。仮に動画を見ていて、シークバーをあるシーンで止めようとしているのであれば、どのようなコンテンツを探しているのかを推測することまでは現在でもできますが、ただ操作を止めているときに、ユーザが頭のなかで考えていることまでは読み取ることができません。視線の動きなのか、生体情報を活用していくのか、そうした技術とも組み合わせていくことで、さらに人の思考などとも連携していくことができればと考えています。


谷：サービスとしての展開について言えば、現在は多岐にわたる事業部と議論しながら実用的なシーンを見定めているところです。先ほども話にあったように、社内での展開も並行して進めていますが、社内での展開には業務効率化や試験的な意味合いがあるのはもちろんですが、もう一つ、ユーザである社員一人ひとりがその効果を身に染みて実感できるというメリットがあります。お客様に熱をもって、自分事として説明できるようになるため、今後の対外的な展開にも大きく貢献すると考えています。

NECの最先端技術一覧へ戻る