2023年2月7日

映像データの分析技術を追求し、社会のさまざまな課題を解決していきたい

ビジュアルインテリジェンス研究所
リサーチャー
ステファン カレン（Stephen Karen）

2016年にインドのNational Institute of Technology Calicutで電子通信工学科の技術学士号を、2018年にはIndian Institute of Technology Bombayで通信・信号処理学の技術修士号を取得。修士論文は、動画からの人物行動認識に関するもの。2018年10月にNECに入社。

映像データから人の行動・ふるまいを理解する技術に注力

NECに入社してからは、映像データでの人間同士のやりとりの検出や、360度映像から人間の行動を認識することなど、複数のテーマに取り組んできました。360度カメラは視野が広いため、1台のカメラで広い範囲をカバーできるのが特長です。その映像から人間の行動を認識するプロジェクトはとてもエキサイティングでした。

2022年からは、長時間の映像から人物の行動を要約する新しい研究テーマに取り組んでおり、現在進行中です。近年では、ソーシャルメディアにアップロードされた動画や、お店や工場などの施設や街角に設置された安全を目的としたCCTV（Closed-circuit television）カメラ映像など、膨大な量の映像データが日々生成されています。これまで、このような映像の中から目的の行動・事象を見つけようとする場合、何時間にも及ぶ映像データに目を通す必要がありました。これは非常に面倒であり、時間もかかります。

私たちが研究している技術は、多くの事象を含む長時間の映像から、ユーザーが興味を持った事象の要約（テキストと短い映像）を作成することを目的としています。例えば、お店の人が顧客の購買行動を知りたい場合に、店内の映像にあるすべての購買イベントをいくつかの洞察とともに簡潔にまとめた映像を作成する、といった研究です。

この研究テーマはまだ新しく、私たちはこの技術を実現しようとしている最中です。私たちのチームでは、NEC社内だけでなくシンガポール国立大学の教授や研究者と組んでこのプロジェクトに取り組んでいます。この研究テーマに関する論文をマルチメディア分野の最高峰国際会議（ACM Multimedia 2022）で発表し、最優秀BNI論文賞（BNI: Brave New Ideas）を受賞しました。

論文へのリンク: https://dl.acm.org/doi/abs/10.1145/3503161.3549202

さまざまな専門家との共同研究を通して学び続け、未来を変えていきたい

私の修士時代の論文は、映像解析に関するものでした。映像解析やコンピュータビジョンの研究をしていたころ、先輩から日本の一流企業であるNECの話を聞きました。そして、当時から多くの先輩がNECで勤務していることも知っていました。

NECは、私の大学に来て採用に関する説明をしてくれました。それは私の研究と合致する仕事内容で、一流企業で活躍できる良いチャンスに恵まれたと感じ、入社したのです。

外国人として日本で生活する上で、大きな困難のひとつが言語です。しかし、NECでは、外国人研究者のために語学研修を行っています。来日前からも2カ月ほど日本語の研修を提供してくれました。私はそのとき、あいさつの仕方や、何かを頼む方法など、基本的な日本語を学びました。来日後も日本語教室に通える支援があり、日本語の会話能力を飛躍的に向上できました。

NECは、もっとグローバルにビジネスを展開したいと考えており、外国人の人材によって多様性を取り入れることに非常に強い興味を持っています。外国人が働きやすい雰囲気づくりにも力を入れているのです。

NECのサポートは、外国人向けの語学研修だけにとどまりません。NECは研究者が成長するための支援に積極的で、数多くの機会を提供しています。例えば、国際会議や博覧会への参加、ほかの研究者との交流・共同研究に興味を持つ研究者への支援もします。また、自宅やオフィスなど、働く場所を自由に選べる柔軟性もあります。

NECは120年以上の長い歴史を持つ名門企業です。今日の顔認証技術のように、NECは世界的に高い評価を得ている技術をいくつも生み出してきました。そのような成果をもたらしたトップクラスの研究者がたくさん在籍しています。ですから、私たちの研究チームでも画期的な技術を生み出すことができると確信しています。

チームのメンバーは皆とても親切で、必要なときにはいつでもフィードバックやサポートしてくれます。私の研究では、人物の追跡や姿勢推定などの技術が必要になることもあるので、その分野の専門家である別のチームのメンバーと自由に共同研究をすることもできます。研究所では、さまざまな研究者との共同研究を推奨しています。社内はもちろん、社外の大学の先生方との共同研究も可能です。これは、NECで研究をするメリットの一つですね。

NECでの仕事はとてもやりがいがあり、私の研究は社会の未来を変える可能性も秘めています。共同研究を通して、より多くのことを学び、自分を磨き続けています。

テクノロジーと社会との架け橋になりたい

現在は研究職として働いていますが、将来的にはビジネス面においても経験を積みたいと考えています。NECは、技術とビジネスを同時に開発し、社会に提供している企業です。ビジネス面にも注目することで、社会にとってより価値のある技術を生み出したいと思っています。

私は、テクノロジーと社会との間にはギャップがあると考えています。NECでは、そのギャップを埋める方法を学ぶことができます。私の研究チームの上司や先輩はビジネス面にも携わっており、事業部門のメンバーと協力して新しい技術のトライアルやPoC（Proof of Concept：概念実証）を行っています。将来的には、私も自分の仕事が社会の役に立つようにしたいと考えています。

私のように研究者を目指している人に伝えたいのは、「情熱を持って仕事をする」ということです。研究の成果を出すには、情熱がないと遠回りしてしまいがちですが、NECは情熱を評価してくれる会社です。また、コラボレーションも成果を後押ししてくれます。自分の考え・想いをほかの研究者や家族に気軽に打ち明けてみてください。そのほうが、より多くのアイデアを得ることができるでしょう。自分の研究テーマに情熱を持ち、他者にオープンであり、互いに力を与え合うことが重要なのです。

私の一日ご紹介

学生時代の自分へ