2023年3月20日

NECは2022年8月から12月にかけて実施された「AI王 〜クイズAI日本一決定戦〜」第3回コンペティションで優勝し、初参加した前回大会に引き続き2連覇を達成しました。本大会は、いったいどのようなものなのか。勝因は何だったのか。研究者に詳しく話を聞きました。

クイズ1000問中938問に正解

― 「AI王 〜クイズAI日本一決定戦〜」とは、どのような大会なのでしょうか？

小山田：東北大学や理化学研究所、NTTなどで活躍する研究者の有志が、質問応答技術研究の促進を目的として開催しているコンペティションです。私たち人間に出されるような一般的なクイズ1000問をAIが6時間以内にどれだけ正しく答えられるかを競い合います。ただし、使える計算機の能力にはレギュレーションが設定されており、その制限のなかで最善を尽くすことになります。これまで3回開催されていますが、私たちは第2回（2021年）と第3回（2022年）に参加し、2連覇することができました。第2回では839問の正解、第3回では938問の正解を記録しています。


秋元：連覇はできたものの、第3回では僅差での優勝でしたので最後まで気が抜けませんでした。特に、最終提出日の前日に大きなバグに気がついて調整を加えるなど、胃が痛くなるような思いもしました(笑)


―なぜ、この大会に参加したのでしょうか？

竹岡：参加を決めたのは、秋元さんと参加した言語処理学会で大会情報を見かけたことがきっかけでした。私たちのチームで取り組んでいるNEC Data Enrichmentというサービスのために、ちょうど質問応答技術について勉強していたタイミングだったので、こうしたコンテストへの参加は効率的な学習のためにも、自分たちの客観的な実力を知るためにも良い機会だと考えました。


小山田：データサイエンス研究所では、通常の研究業務に加えて、研究者が発案する新しい有意義な研究には予算を出すという制度があります。今回はその制度に応募して、一つの業務として研究に取り組んでいきました。

機能を分担することで、高精度なAIモデルを実現

― 勝因は、どのようなところにあったのでしょう？

秋元：初参加した第2回大会では、質問応答技術についてはほぼ素人という状態から始めたので、竹岡さんと2人でとにかくたくさんの論文を読んでキャッチアップしていきました。当時の時点で最善の手法を調べ上げて、きちんと実装まで持っていけたということが大きかったと思います。


小山田：このときの結果が非常に良かったので、第3回のコンペティションでは私たちが採用したアーキテクチャがベースラインに設定されました。そのため、第3回は非常に厳しい戦いになりました。他の参加者も、全員私たちと同ラインの状態から始まるからです。私たちのチームでも、竹岡さんや秋元さんがどうやって性能を上乗せしていくかという工夫を凝らしてくれました。


竹岡：私たちのAIモデルを大きく分けると、最初にクイズの問題に対して関連情報を検索して取得してくるパートと、それを絞り込むパート、さらにその中から答えを見つけてチェックして出力するというパートに分かれます。はじめは2つ目のフィルタリングするパートに時間がかかってしまっていたので、それを改善するのに苦労しました。また、秋元さんが担当した3つ目のパートでは、複数のモデルをうまく使って答えを導き出すというユニークな構造をとっています。加えて、最後にそれが本当に答えかどうかチェックをする仕組みを入れたというのは、技術的には面白いポイントだと思います。最終的にチェックする機構を入れていたのは、私たちのチームだけだったと思います。


秋元：チェックする仕組みを入れる前は、表記などの惜しい部分で間違うことが多かったんですね。そこで、複数の回答候補を出力して、そのあとに回答候補をチェックして良いものを選ぶという2つのモジュールを組み合わせました。


小山田：一般的に使われるような大きなAIモデルをそのまま使っても似たようなことはできるのですが、1つのモデルに全てを任せるのではなく、パーツに分けて部分的に分担させていくと」、お互いがより能力を発揮しやすくなるんですね。最近、言語モデルの研究界隈でもそうした傾向がわかってきているのですが、今回私たちもそれを目の当たりにすることができました。

大量の難解な文章を効率的に読解するイノベーションへ

― 今回の取り組みで、普段の業務にも通じるような気づきはありましたか？

小山田：データの重要性を再認識できたのは大きな気づきでした。第3回のコンペティションでは、はじめのうちはあまり満足のいく精度が出せずにモデルの改変を繰り返していたのですが、状況を精査してわかったのは、むしろ質の良いデータを集めることの方が実際の精度に貢献するということでした。これは事業を行ううえでも非常に有効な気づきでしたし、マネージャー視点でも実りのある発見でした。


秋元：そうですね。データは非常に重要で、必要のない情報を与えてしまうと、これまで答えられていたものも答えられなくなってしまうという現象があることも実感しました。こうした悪影響に気づくことができたのも、一つの収穫だと思っています。


竹岡：そこはまさに最新の論文でも言及され始めてきたことで、これから世界的にホットなトピックになろうとしているテーマなのかなと思っています。他にもAIモデルが学習していく中で、「日本の首相」などの時間によって変化する情報を固定的に覚えてしまって間違えてしまうようなケースも目の当たりにできました。


― 今後、質問応答技術をどのようなかたちで生かしていきたいですか？

小山田：まずは、今回の取り組みのなかで培ったものを現在私たちのチームで事業化しているNEC Data Enrichmentへ活かしていきたいと思っています。商品や企業などの情報に、従業員数や値段などの属性情報をWEBなどから検索して自動付与していくサービスなのですが、今回のノウハウを活かすことで、このソリューションはさらに効率的かつ高精度に進化できると思っています。

一方で、例えば法律文書などの難解かつ大量の文章を読み解くことを支援するソリューションなどにも展開できたら面白いと考えているところです。


竹岡：私も法律文書や行政文書など、自分の知識とギャップがあるような文章の読解を支援してくれるものを実現したいと思っています。文章と対話するようなイメージですね。例えば質問応答技術が文章と読者のあいだに入ってくれて翻訳してくれるようなことができれば、まったくの素人であっても難解な文章を読めるようになります。そんなものを実現したいですね。


秋元：私はいまのお話を少しだけ発展させて、自分の書いたものに対しても質問応答技術が適用できないかと考えています。というのも、私は記憶力がなくて、すぐに物を忘れてしまうんです。だからメモを残すのですが、今度はメモを書いたことさえ忘れてしまう。そうすると、未来の自分にとっては大きな損失で、1回考えたことも、もう一度考え直さなくてはいけません。なので、日記やメモなど、過去の自分が書き残した文章をAIにも読んでもらって、自分が記憶している情報だけでなく、AIの助けを借りて過去に書いておいたものからもシームレスに、滑らかに情報を取り出せたりするような仕組みを実現できたらと思っています。質問応答技術は、その一つの足がかりになるのではないかと思っています。


― わかりました。2連覇おめでとうございました。次もあれば参加しますか？

小山田：そうですね。クイズはもちろん、さまざまな場所にリーチしていこうと思っています。