Ronan Collobert
～自然言語処理の先駆者～

ローナン・コロベー博士は、NEC北米研究所の在籍時に、自然言語処理をエンド・トゥー・エンド、つまり入力から出力にいたる途中段階の処理をすべて学習させるためにニューリネットワークを応用するという、当時としては斬新な発想に基づく研究を行い、現在、この分野で主流となったアプローチの基礎を築いた研究者です。当時の同僚でもあったジェイソン・ウェストン博士との共同執筆による論文"A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning”は、タスクの予測精度を向上させるために、関連する複数のタスクを同時に学習させてタスク間の共通要因の獲得を促進するマルチタスク学習が、自然言語処理に優れた結果をもたらせることを立証しました。しかし、それまでとはまったく異なる発想であったため、当時はまったく評価されなかったといいます。そのような経験を持つ同氏に、ディープラーニングを自然言語処理に応用したきっかけやAI研究のこれからの見通しについてお訊きしましした。

既存のアプローチへの違和感が新たな自然言語処理の道を拓いた

私は元々、基礎的な機械学習の研究を行なっており、NECLAの同僚だったジェイソン・ウェストンと共に、AIの実用的な利用方法を模索していました。そして、２人ともコンピュータとやり取りするためのより良い方法が必要だと感じていたのです。それならば、一緒に自然言語処理分野における新たな機械学習について研究してみようと意気投合しました。
ところが、当時の私たちは、自然言語処理についてほとんど何も知らない状態でした。にもかかわらず、当時の研究者たちが自然言語処理のためにデータを準備するやり方や、様々なカスタム機能を実装することには違和感がありました。手作業でカスタム機能を付加するのではなく、人間が言葉を覚えるのと同じように、何らかのトレーニングによって習得させるほうが理にかなっていると思ったわけです。
そこが出発点でしたが、その時点ではその実現方法が明確ではなく、ここから先の研究に時間がかかりました。人間は、言葉を繰り返し聞くことによって覚えていきます。これはある意味で、教師なし学習のようなものといえるでしょう。ただ、それを当時の自分たちのコンピュータ上で行うことは難しかったのです。
この問題を考えるうちに、自分たちが多くの文章を読むことによって、言語のモデルを構築しているということに気がつきました。それをどのように実現するかを研究した結果が、あの論文です。
それでも、私たちがそれに基づく実験を成功させるまでには６ヶ月以上かかりました。実は、最初に成功した実験には２ヶ月かかり、トレーニングを行なっているマシンのことをすっかり忘れていたほどだったのです。通常、機械学習の実験は、2週間で見込みある結果が得られなければ諦めます。私たちももう少しで諦めるところでしたが、そのやり方がうまく機能することがわかって以降は、この言語モデルに基づくアイデアを探求していくことにしました。そして、最終的に驚くような結果が得られ、論文執筆にいたったのです。もちろん、現在のマシンパワーがあれば、もっと早く結果が得られていたでしょう。
このように、AIの研究を成功に導くには、多くのトライアルが必要であるとともに、ときには多少の運も必要といえます。

よりシンプルな方法で効率の良い音声処理の実現を目指す

Facebookでは、自然言語処理に加えコンピュータ・ビジョンや音声処理の研究にも携わっていて、その３つの領域の研究者たちを育成するマネジメント的なことも私の仕事です。個人的には、特に音声処理にフォーカスして、可能な限りエンド・トゥー・エンドな処理方法を見つけ出そうとする一方で、ラベルなしデータの有効活用を模索しています。
音声認識では、単語の出現確率を直前の複数の話し言葉から推測して、各単語の意味を確定するための言語モデルが重要です。この領域では、近年、特定タイミングでのみ必要となる入力情報を、精度よく出力に反映させるためのアテンションメカニズムをディープニューラルネットワークと共に用いて、文字レベルで発音記号に置き換えた結果から暗黙のうちに言語モデルを学ばせながら音響モデルのトレーニングを行う手法が成果をあげてきました。
しかし、こうしたアプローチでは、明示的な言語モデルを用いて完璧を期そうとすると、最終的な出力を得る際に、依然として余計なデコードのステップが必要となります。そこで私たちは異なる方法を採ることにし、最近の研究の中で、音響モデルと明示的な言語モデルを一緒に訓練することのできる微分可能な音声認識デコーダを提案しました。このアプローチは、より効率的な音響モデルの実現や、デコード時の推論の高速化につながります。
ディープラーニングに関していえば、現在のアルゴリズムには限界が見えています。機械学習分野における次世代の主流技術を予想することは難しいですが、私自身の考えでは、「教師なし学習」の手法を研究することが重要といえるでしょう。
「教師あり学習」では、訓練モデルのためのラベル付けされたデータが必要であり、それを得ることが難しい場合もあります。たとえば、音声認識において、音声ベースの大規模な言語資料を発音記号に変換する作業のコストは膨大なものです。
対照的に「教師なし学習」の手法では、ラベルのないデータでモデルを訓練します。このようなデータは、多くの問題において豊富に揃っており、コストをかけずに利用できるわけです。もし教師なしのモデルから教師つきの学習タスクへと知識を変換することに成功すれば、問題の解決や特定の機能の実現のために必要なラベル付きデータは、非常に少なくて済むようになります。この考え方は、2008年にジェイソンと共にいくつかの自然言語処理タスクについて提示し、私たちが現在、音声認識の領域で研究を進めているものです。

静かに思考し対話する時間を与えてくれたNECLAの環境

研究という仕事は、実はソーシャルなもので、他の研究者との意見交換が重要といえます。NECLAには、素晴らしい庭と小さな池があり、そのまわりをジェイソンと巡り歩きながら、アイデアを得ることが多かったですね。とてもリラックスでき、ある意味で善のような感覚だったと思います。
NECLAは、NECの本社から遠く離れたプリンストンに位置しているため、私たちに何が求められているのか、わかりづらいところもありました。しかし、機械学習部門長のハンス・ピーターが、NECとNECLAのインターフェースの役割を果たし、私たちを守ってくれたともいえます。そのおかげで、医療や自動車分野での応用ソリューション開発を進めながら、自分たちが興味のある研究も自由に進めることができたのです。彼のマネジメントには、大いに感謝しています。
そんな環境の中で、同僚のジェイソンと私は、自然言語処理の研究を共同で行うことにしました。当時、ジェイソンは技術計算言語のMATLABを利用してプログラミングを行い、私はC++を使っていたのですが、自分たちのために新たなツールを作ることに決めて開発したのがTorch7です。これは自然言語処理向けにスケーラブルな設計となっており、同時に自分たちの研究に適した十分な柔軟性も兼ね備えたものでした。
さらに私たちはTorch7をオープンソース化し、その結果、それはAIコミュニティで長きに渡って使われることになりました。同じように、自然言語処理のための純粋なCライブラリであるSENNAもオープンソース化して成功しました。まず、こうしたツールを作ったおかげで、新しいことを試したり様々な開発を進めることが楽に行えるようになり、その後の自然言語処理に多大な影響を与えた研究成果につながったのです。
総じて、NECLAには研究を行う上での多くの自由があったと私は思います。たとえば、研究者たちが、リスキーで斬新なアイデアを研究所に対して提案するシーズプロジェクトというものがありました。その中で有望と思える企画は、少し予算をを与えられ、そのアイデアを追求してみることができるのです。あるとき、ジェイソンと共に、そこに提案するアイデアを考えていたのですが、正式な論文にまとめる時間的な余裕がありませんでした。そこで、アイデアを寸劇に仕立てることを思いつき、ニューヨークにあったジェイソンの自宅でビデオを撮りました。１人がカツラをかぶって頭文字がN.E.C.となる人物に扮し、面白おかしく自分たちのアイデアを説明したのですが、そのビデオが本人たちが居ないプレゼンテーションの場で公開されると、参加者たちは爆笑したそうです。そんな思い出もあります。

AIの実用性の認識と共に高まった研究者への需要

最近では、特に大規模なデータを整理するような実用的な用途にAIが応用できるということを、多くの企業が理解するようになりました。そのため、急激にAI関連の人材の需要が高まり、AI研究者も注目を集めるようになりました。
私も今はFacebookにいるわけですが、NECLAを去った理由は別にあります。NECLAには自由があり、機械学習部門のメンバーは15人程度だったので大きな組織で感じるようなオーバーヘッドもない、素晴らしい研究環境でした。しかし、ジェイソンやレオン・ボトウのような仲間の研究者たちの何人かは、それぞれの個人的な理由でNECLAを離れていきました。このように、自分の研究にとっても重要な同僚たちがNECLAを去ったことに加え、私自身にもヨーロッパに戻りたいという希望があったので、結局、スイスで学術的な研究職に就いたのです。
そして、ある日、FacebookがAIの研究部門を開設するので来ないかという話がありました。当初は気乗りしない部分もあったのですが、ジェイソンやレオンも含めて私の友人たちの何人かがFacebookに雇われたことがわかり、それならばと自分もこちらに来ることにしたわけです。

やり遂げるまで諦めない頑固者であれ

私からの若いAI研究者へのアドバイスは、まず、頑固者であれということです。私自身、毎日、自分がすべきことにフォーカスして取り組み、失敗が続いたとしても決して諦めることなくトライし続けます。
また、業界の動向に左右され過ぎないということが２つ目のアドバイスになります。トレンドに従ってしまうと、実際にインパクトのある新しいアイデアを考えつくことが難しくなるからです。他の研究者がどのように解決方法を見出そうとしているかは重要ではありません。長い目で見て、自分が本当に信じられるやり方を選ぶことが大切であり、それが何であれ、こだわり続けるべきだといえるでしょう。
３つ目のアドバイスは、既存のフレームワークにとらわれ過ぎないことにあります。すでにあるフレームワークを使うということは便利な反面、それ自体の制約から逃れることができません。そうしたフレームワークは、迅速なプロトタイピングのために、いくつかのブロック的な仕組みを提供します。ところが、後に影響を与える研究には、まったく異なる新たなブロックを導入する必要が往往にしてあるわけです。そうしたブロックが、既存のフレームワークとは相容れない可能性すら考えられます。その意味で、１つのツールに縛られてはいけないのです。
そして、もちろん、数学的な知識が機械学習の基礎であり、しっかりした数学素養を身に着けることを強くお薦めします！その上で、自分の考えを追求していってください。

（取材・文／大谷 和利）