サイト内の現在位置

米国機械学習研究の最前線から

2019年4月18日

Vol.1

Hans Peter
Graf
~機械学習研究の
草分け~

Vol.3

Ronan
Collobert

~近日公開~

Hans Peter Graf
~機械学習研究の草分け~

NEC北米研究所
機械学習部門長
ハンス=ピーター・グラフ博士

世界最高レベルの画像認識技術をはじめ、情報の見える化と分析に関わる様々な領域において業界ナンバーワン/オンリーワンの評価を得ているNECのAI技術。そのための基礎研究と事業化への橋渡しに関して欠かせない存在となっているのが、プリンストン大学のキャンパスにほど近く、木々に囲まれた静謐な環境に建つNEC北米研究所(以下、NECLA)の機械学習部門です。
同部門は、現在の機械学習プラットフォームの1つであるTorch(トーチ)の開発において中心的な役割を果たしたほか、世界トップクラスのAI研究者を多数輩出するなど、常にAI開発の最前線で業界をリードし続けてきました。
このインタビューでは、機械学習部門長として自ら先端的なリサーチを進めながら優れた研究者たちを統率し、研究結果の事業化や各事業部門に対する技術移転にも責任を持つハンス=ピーター・グラフ博士が、AI研究におけるNECLAの意義や貢献、将来の展望について語ります。

ハンス=ピーター・グラフ博士プロフィール

プリンストンにあるNEC北米研究所機械学習部門の部門長。当部門では機械学習のアルゴリズムの開発のほか、セマンティックテキスト分析や認知動画解釈、バイオ医学分析のアプリケーション開発を行っている。同氏は、各事業部門への技術移転や研究結果の事業化等を担当。製造現場でのパーツの検査、東京証券取引所の取引監視システム、癌診断において病理学者を支援するe-Pathologistなどは、機械学習部門が手がけ、商業的にも成功を収めた技術例の一部である。

NECの研究所に入社する以前には、ベル研究所とAT&T研究所の両社に勤務し、ニューラルネットモデルや機械学習アプリケーションの開発に携わる。同氏の設計による大規模並列ニューラルネットプロセッサは、高速アドレスリーダーやチェック処理システムの主要部品となっていた。

同氏は、物理学の学士号と博士号をともにスイス、チューリッヒにあるスイス連邦工科大学チューリッヒ校から取得。100本以上の査読論文の原著者・共著者で、登録特許約50本の作成者でもある。また、IEEEフェローであり、アメリカ物理学会の会員にもなっている。

ニューラルネットワークからディープラーニングへ

最初に、私自身のAIへの興味も含めて、ざっとAI研究の流れを振り返ってみたいと思います。私にとって「人間と同じように思考できるコンピュータを作る」というのは昔からの夢でした。そして、もう30年ほど前のことになりますが、私がベル研究所にいたときにニューロン(神経細胞)の特性を模したニューラルネットワークチップをデザインするチャンスに恵まれたのです。
そのときに考えたのは、「ニューロンと脳との結びつきを模倣すれば、新しいタイプのパワフルなプロセッサを開発できるのではないか」ということでした。しかし、過去30年に渡って様々な研究チームがこの課題に取り組み、ニューロンの発火(活動)頻度だけでなくスパイク(活動電位)のタイミングにも注目したニューラルネットワークの構築や、ノイマン型コンピュータとは異なり記憶と演算を同時並行的に実行できるアーキテクチャなども試みられましたが、結果的には、一般的なプロセッサの効率にははるかに及ばなかったのです。
そこで、私はハードウェアからソフトウェアによるアプローチに切り替えることにしました。そして、機械学習の一種でSVM(サポートベクタマシン)と呼ばれる「教師あり学習」の手法に着目し、これが幅広い用途に適した非常に有効な手段であることがわかったのです。
2005年ごろに、再びニューラルネットワークの考え方をソフトウェア的に進化させようとする動きが生まれ、その階層を深めることで複雑な処理を行うディープラーニングのブームが起こりました。それ以降、私たちは、このディープラーニングをどのように発展させ、応用するかということを中心に研究を進めてきたことになります。

研究者コミュニティと企業が研究に果たす役割

AIのように複雑で難解な問題は、1人の研究者の力だけで解くことはできません。研究者のコミュニティや刺激を受けられる環境の存在が重要なのです。私自身、ベル研究所やNECLAというコミュニティに属してきましたが、これらの研究機関には、最高レベルの研究を行うことへのコミットメントがあります。それが優秀な研究者たちを惹きつけると同時に、常にベストなアイデアを求めて競い合う者たちに大きなチャレンジを与えることにもなるわけです。こうした環境が研究者たちを奮い立たせ、研究を前進させる原動力になっています。
もう1つ、私がAI研究の分野で重視するのは、常に応用を念頭に置きながら取り組むという姿勢です。理論だけを追い求めても、研究が大きく進展することはありません。AI研究者たちは過去30年に渡ってアルゴリズムを扱ってきました。しかし、それ自体に特別な力があるわけではないのです。では、何が大切なのかといえば、そのアルゴリズムを実際の応用に生かすことに尽きます。そのためには、単に研究サイドのことだけを考えるのではなく、応用分野によって研究者たちを奮い立たせることが必要といえるのです。
NECLAのように産業と直結した研究所がAI研究に適しているのは、この点においてです。事実、学術的なAI研究者たちは、しばしば、課題が抽象的すぎることに不満を抱いています。もちろん、そうした研究も重要なのですが、現実の世界にインパクトをもたらす機会は稀です。研究と応用、両方の視点を持つことが重要といえます。
一方では、AI研究が実際の成果を出すまでには、多くの時間がかかるものです。NECは、私がここに来る以前から、機械学習に対してコミットし、研究者をサポートしていました。AIの応用事例として知られるデジタル病理学的診断の場合も、15年前から取り組んでいたからこそ、NECはどこよりも早く病理画像解析システムの「e-Pathilogist」を世に送り出せたのだといえます。こうした長期にわたる企業の支援が受けられるのも、NECLAの強みの1つです。

AIベースのソリューション開発を重視するNECLA

また、今ではNECLAの他にも企業ベースのAI研究部門はありますが、たとえばFacebookの例では、開発された技術は基本的に自社サービスのために利用されます。言い換えれば、アウトプットのチャネルは1つだけです。そのため、ユーザーとのコミュニケーションのチャネルも1つしかなく、楽な反面、研究の多様性という点では制約もあります。
NECLAの場合、顧客はNEC外部の、異なる様々な市場の中に存在しています。したがって、AIの応用も、医療向けの画像認識から生産現場における製品や部品の検査、株式市場における取引の監視など多岐に渡っているわけです。これも、研究者にとってNECLAが魅力的な理由になるでしょう。
一方で、FacebookやGoogleは自社サービスを利用して、いわゆるビッグデータを収集し、ディープラーニングに利用しています。データコレクションの規模という点では、これらに対抗できるところはありません。私たちは同じ道を歩むのではなく、たとえばアクションの認識などの新たな機能性を追加することによって、未知の領域を開拓しています。
基礎研究には時間がかかりますが、ソリューション開発にはスピード感が重要であり、オープンソースのコードを利用しながら、顧客のニーズを満たすアプリケーションやシステムをいち早く作り上げて提供することを心がけてきました。研究から事業部、そして顧客へという実用化のパイプラインをいかに速く、スムーズに整備するかが重要です。そして、私たちが、画期的なテクノロジーを素早く顧客のもとに届けるエキスパートだという事実こそが、NECLAの価値であると考えています。

ライバルが敵にも同志にもなるAI研究の世界

部門長としての私の役割の1つに、優秀な研究者を集めることがあります。AI開発では、より定型的な開発業務に共通するような形でのプロジェクトマネジメントは意味をなしません。というのは、実際の成果が得られるまでの期間を正確に見積もることが難しいからです。そのため、信頼の置ける研究者を集めて、課題に集中できる環境を用意することが重要になります。
もちろん、優れた人材を確保するにはそれなりのお金が必要で、時間もかかります。しかも、今年は結果が出なかったからといって、クビにはできません。だからこそ、企業としてのコミットメントが必須なのです。その意味でもNECLAは研究に適した環境であり、私たちは常に、自らのアイデアを試したいという意欲にあふれた研究者を求めています。逆にいえば、常に指導やアドバイスが必要な人は不向きで、様々な可能性を自ら追求できる人材でなくてはなりません。
その上で、実際にどのような研究であれば、新たな市場への道が開けるのかを見極める必要があります。このためには、常に外部のコミュニティとの関係を密にしておくことが重要です。カンファレンスに参加したり、論文を書くには時間がかかり、無駄と思えることもあるでしょう。しかし、有力な専門家と意見交換をすることで自分のアイデアを検証することができ、論文を書けば自らの考えがしっかりと整理されます。さらに、その論文を発表すると当然のようにライバルたちが自らのアイデアによって打ち負かしにかかってきますが、それこそがさらに優れたアイデアを生み出すための最良の方法なのです。
今ではオープンソースのコミュニティもあり、ソフトウェアについても同様の試練に晒されます。しかし、ライバルからのフィードバックさえも利用して自分を高めていくことが、トップを目指す研究者の心得といえるでしょう。
また、ビジネスにおけるAIの難しさは、それ自体が製品やソリューションなのではなく、様々のソリューションを支える特長の1つであるという点です。しかも、顧客ごとに元になるデータも、求めるニーズも異なりますから、まずデータを集めるところから始めて、ニーズに合わせたソリューションをカスタマイズする必要も出てきます。こうした作業には、非常に時間がかかるものです。そして、多くのIT企業が苦労している部分も、AIソリューション開発では避けられない、このような点にあると考えます。その中にあってNECは、継続してAI技術の応用に成功してきた数少ない企業であり、機械学習の分野の優秀な研究者たちが集まってきたのも、それが理由なのです。

NECLAの実社会への貢献

NECLAの功績のうちで最も印象深いのは、2010年に日刊工業新聞の第53回十大新製品賞の1つとしてe-Pathologistが選ばれたことでした。癌の診断という非常に重要な領域を扱い、時代のはるかに先を行くシステムだったと思います。また、2018年には、日本取引所グループが株式取引の売買審査業務を機械学習で支援するシステムの導入することに結実しました。常に努力が報われるとは限りませんが、良い結果に結びついたときには、喜びもひとしおす。AIの製品化という点で、私たちはかなりの成績を上げてきたと思います。
さらに、オープンソースコミュニティへの貢献という面では、機械学習プラットフォームのTorchが驚くほどの成功を収めました。もともと部署内で利用するために開発したものですが、オープンソース化してからは外部の多くの研究者たちによって様々な拡張が行われ、まるでそれらの人々が私たちのために働いてくれているかのように感じられたものです。
Torchで使われるスクリプト言語はLua(ルア)といい、効率的に優れるものですが、学生たちの間ではあまり知られていません。そこでFacebookがスクリプト言語して人気があるPythonを利用したPyTorchを開発し、これがGoogleによるTensorFlowと並んで最もポピュラーな機械学習プラットフォームとなっています。このことも、努力を続けてきた結果として、誇りに思える貢献でした。

ディープラーニングの次に来るものを目指して

将来の展望については、先にも触れた製品化のパイプラインの流れを、より迅速化していくことが重要です。また、今では、ディープラーニングが適用できそうな領域はほぼすべて網羅されたといっても良く、逆にその限界も明らかとなってきました。つまり、新しいアーキテクチャについて考えるべきときが来ているのです。
依然として人間の脳は、現在のAIよりもはるかに複雑な情報の処理を行っています。より人間の脳に近い思考を行い、コンテキストを理解して理由づけができるような技術を開発する必要があるでしょう。ディープラーニングは、学習を重ねてパターンマッチングを行っているに過ぎず、多くのリソースを必要とし、非効率的なものです。
初期のディープラーニングは単純にニューラルネットワークの層を直列的に重ねたものでしたが、最近では、より構造化されたモデルへと移行してきました。様々なもののつながり方を分析して抽象化を行う、グラフ構造に注目する研究者もいれば、連想記憶に取り組む研究者もあります。後者の場合、メモリへのアクセスは明確なアドレッシングではなく類似性を基づいて行われますが、その実現には、データの表現から記憶、再呼び出しに至るまで、すべてにおいて相当な改良が必要なことは確かです。
近年は、特に広告の分野でAI利用の商業的価値が高まったために、AI研究者も脚光を浴びるようになりましたが、それが必ずしも研究を良い方向に導くとは限りません。研究とは本来、常に新しいアイデアを追い求めていく地道なプロセスであるのに対して、昨今の風潮は、あまりに多くの研究者を1つの同じ方向に向かわせてしまうかもしれないからです。一方で、最近のAI分野の大きな成功が、これまでとは違う種類のスマートな人たちをこの分野に惹きつけているのは、興味深い動きといえます。したがって2つの側面があるわけですが、研究者にとって大切なのは、次の大きな流れにつながるような自らの研究課題を見つけることです。
最後に若い皆さんへのアドバイスですが、すべての研究者に対して薦められるのが、AI分野の研究だといえます。現状、AI研究を主導しているのは、コンピュータ科学者やエンジニアやテクノロジーマニア的な人たちです。しかし、AIの応用範囲が広がるにつれて、ビジネスや製造プロセスだけでなくマクロ経済や社会現象も、その対象となってきました。そして、プライバシーやジョブマッチングにおけるデータバイアスの問題なども話題になっていますが、こうした分野の研究は、必ずしもコンピュータ科学者のものとは限りません。したがって、理系でなくてもAI関連の研究分野を見つけられるはずです。
いずれにしても、若い研究者の皆さんには、多くの分野に渡って大きな可能性を秘めたAIの世界を探求していってもらいたいと思います。こんなに面白くやりがいのある分野は、他にないのですから。

(取材・文/大谷 和利)

関連リンク

Vol.1

Hans Peter
Graf
~機械学習研究の
草分け~

Vol.3

Ronan
Collobert

~近日公開~