Leon Bottou
～確率的勾配降下法の始祖～

レオン・ボトウ博士は、NEC北米研究所の在籍時に、ディープラーニングにおける「確率的勾配降下法（SGD）」の有効性を立証した、AI研究の第一人者の１人です。SGDはディープラーニングにおけるメインの最適化手法であり、計算コストが小さい、驚異的な頑強性を備えている、一度にデータセットを揃えられない場合でもリアルタイムでオンライン学習が可能といったメリットがあります。人々が直面する問題を独自の視点から分析する同氏の、発想の原点や現在のAI研究の興味について、お話を伺いました。

私のAIのキャリアは１つの幸運から始まった

私が機械学習に興味を持ったのは、祖国フランスのエコール・ポリテクニークに通っていたときのことでした。論文を読んで学校のコンピュータ上で試してみた結果、それがうまく機能するのを見て、すっかり虜になってしまったのです。そして、この分野で博士号を取得しようとしたのですが、私のメンターから「学問として確立していない分野で、どうやって博士号が取ろうというのか？」とあきれられました。もっともな話でしたが、若くて頑固だった私は、それでも学び続けたのです。振り返れば、それは幸運なことだったと思います。
物理の世界では様々な現象や物体のモデル化が容易で、シンプルなルールによって、その性質などを表すことができます。いわゆる科学的な手法によって、分析や解析が可能なのです。しかし、生物学や社会科学などの分野では、対象が複雑でモデル化にも困難が伴います。したがって、私たちはそれを単純化して扱うことができず、シンプルなルールセットを適用することもできません。
AIも後者に似ています。それが、近似的なシミュレーションによって対応することになる理由です。ニューラルネットワークを用いた機械学習では、学習結果による推論と正解値を比べて、その誤差が少なくなるように各ニューロンのパラメータを調節していきます。しかし、ここで問題となるのが計算コストと精度のトレードオフです。一般に、より多くのデータサンプルから生じた誤差を計算するほど学習結果の精度も向上する反面、計算時間もかかってしまいます。
そこで私は、限られた計算時間の中で無数のトレーニング用データを扱う場合、どうすることが最も効率が良いのかを考えました。この問題では、すべてのデータ一度に処理するか、小さなデータを素早く連続的に扱うか、というようにいくつかの選択肢があるわけです。全データについて誤差の合計を取ってパラメータを更新する最急降下法では、精度は高まるものの膨大な計算コストを要します。しかし、私は、ランダムにトレーニングされたサンプルを元にパラメータの調整を行うSGDを適用するほうが優れていることを証明したのです。
私の書いたSGDに関する論文が機械学習のコミュニティに受け入れられたのは、データが多くなるほど、このような計算コストと精度のバランスを見極めることの重要度が増してきたためといえます。この種の計算は、最近の比較的安価なGPUベースのハードウェアでも高速に行えるようになりました。その一方で、こうした処理のために消費される電力の総量が増大していることについては、私自身も心配しています。

「正しい答え」は「正しい質問」から得られる

ところで、人間の脳の働きを考えてみると、SGDのアルゴリズムは使われていないと容易に想像がつくでしょう。SGDは、「バックプロパゲーション」のアルゴリズムに依存する傾向にありますが、このアルゴリズムは、認識の誤りに対する各ニューロンの貢献を、ネットワーク層の全域に渡って逆方向に伝播させて算出します。しかし、人間の脳で、こうしたバックプロパゲーション的な処理が行われているとは考えにくいからです。
人工的なニューラルネットワークは脳の働きを模しているといわれていますが、実際の脳は、もっと単純な仕組みを、より大きなスケールで働かせているといえるでしょう。私たちの脳のニューロンの数は、現在のニューラルネットワークの人工ニューロンとは比較にならないほど多く、しかも、ごく少量の糖分で機能しているわけです。
現在、最も進んだ画像認識システムは、30億枚ものイメージを使って学習させています。これは、人間が一生の間に目にするであろうシーンの数に匹敵するものです。あるいは、言語認識システムの場合には、人生を10回分生きても読みつくせないほどのテキストが学習過程で利用されています。逆説的ですが、このことから、私たちの脳が日常生活を送る上で必要な認識能力を、いかに効率よく身につけているかが理解できるでしょう。それがどのような仕組みで実現されているのか、まだ解明できていないのです。
とはいえ、実際の脳の仕組みがどうあれ、AIを現状のコンピュータを利用して実現しようとすれば、ニューラルネットワークのような考え方になります。その上でいかに効率を高めるかを考えることが現実的なのです。
 そうした観点から私が重視するのは、まず「正しい質問」をすることです。私は人々が直面している複雑な問題を理解したいと考えていますが、この世界には、まだ自分の知らないことがたくさんあります。知らないことについては、どのように質問して良いかもわかりません。そこで、その問題を扱っているアプリケーションに着目し、機械学習を適用した結果がどうなるかを見ることから始めます。それで、実際に問題が解決されるのか？されないとしたら、その理由は何か？ということです。
多くの場合、原因と結果の連鎖というものを適切にモデル化できていないことがたくさんの問題を生み出しているように思います。より良い因果関係のモデルを学習すれば意味のある答えが得られますが、その最初のステップが正しい質問をすることなのです。

ディープラーニングに潜むバイアスと非効率性の問題

最近の私の興味について、少しお話ししましょう。たとえば、猫が歩いているというシーンをどのように認識するかという問題です。このシーンを認識するための定番的な類似度の指標というものが存在しない場合、考え方は２通りあります。
１つは、ヒューリスティックアプローチ、つまり試行錯誤的な手法によって類似度の指標を作って判定するという方法です。古典的なやり方ともいえます。もう１つは機械学習的な方法で、プロキシプログラムを用いて近似的な指標を作るというものです。
数年前に、同僚と私は、写真の中の人物が電話をかけているかどうかを判別するシステムの構築に取り組んでいました。テストデータに対する認識率は満足できるものでしたが、このシステムは、人物の近くに電話があるだけで「電話をかけている」と認識してしまうことがわかったのです。
ご存知のように、机の上に電話がある、あるいは、手に電話を持っているというだけでは、実際に電話をかけていることにはなりません。しかし、システムは、このような人物が、すべて電話をかけているというわけです。
驚くことに、このシステムの判断は、統計的には正しいものでした。もしもネット上で電話の近くにいる人物の写真を探せば、その人物はたいてい電話をかけているわけです。それが良い認識結果が得られた理由でしたが、実際にはシステムは電話をかけるということの意味については的外れな判断をしてたことになります。
これは、サンプルのバイアスが影響したことになりますが、世の中に存在する電話を手にした人物の写真は、圧倒的に電話をかけているケースが多いと考えられます。そのほうが、写真としてサマになるからでしょう。
このことから、私は、表面的な相関関係を要領悪く誤用してしまうようなシステムを作らないために、現実の統計分布への依存を減らす方法が必要だと考えています。
また、ディープラーニングが、現状、多くのデータを要するという点で限界に差し掛かっているということも確かです。先に触れたように、言語認識システムの学習のために人生の何回分ものテキストデータが必要という時点で、すでに何かが間違っているのではないでしょうか。
ディープラーニングの次に来るものを見つけることは、現在のAI分野における最大の問題です。私この問題に取り組むのも、それが理由であり、自分が見つけ出せればとは思っていますが、他の誰かが先んじてしまうかもしれませんね。

研究を支えたNECLAのコミュニティと環境

NECLAに関しては、財政的に厳しかった時期にも、NECが研究開発への支援を止めなかったという点を評価したいと思います。それは勇敢な決断でした。
NECLAのあるプリンストンは、ある意味、平和な島のようなところです。運河や池があって、どちらも散歩するのに適しています。日本人ならばよく理解できると思いますが、考えを整理したり、何が需要なのかを見極めるには、そういう静寂な環境が必要です。
私たちはそこで機械学習を扱う小さなグループを作り、ジェイソン・ウェストンやローナン・コロベー、ウラジミール・バプニック、ヤン・ルカンなどの優秀な研究者と共に研究を行いました。やる気に満ちた研究者たちが、心地よく仕事のできる環境に集まったことで、私たちは非常に集中して真剣に研究に取り組み、個人では成し得ないようなことをチームとして成し遂げることができたのです。
今では笑い話ですが、その頃は、まだAI研究者が業界の注目を集める前だったので、そのようなメンバーを雇うことができたのだと思います。今、同じことをすれば、予算的にも大変なことになるでしょう。
私は、最終的にはフランスに戻りたいという気持ちが強く、また、同僚の研究者の移籍や引退などが重なって、NECLAを去ることになりました。機械学習部門の方向性が応用研究へとシフトしたことも挙げられます。それはビジネス面を考えれば当然と思いますが、私は常に自分が何かを学びたいという気持ちから研究しているので、基礎と応用の両方を手がけたかったのです。フランス行きについては、結婚したことによって先送りになっていますが…。
そして、今、AI研究者というのは、ファッション的な意味合いが強くなりました。騒がれすぎかもしれません。それは、すでに従来型のソフトウェアによって変革できるような分野が残されていないためだと思います。これ以上の成長のために、何か新しいものが必要だったのです。それで、機械学習とAIが、多くの企業を惹きつけたのでしょう。
また、知的財産権についてですが、たとえば数学が誰かのものかといえば、答えは「ノー」です。ソフトウェアのアルゴリズムについても誰かが所有すべきものではないと、多くの人が考えています。
いくつかの企業は、AI研究における知財を独占したがっていますが、それは、その成果が企業のリソースなしには得られなかったという理由からです。しかし、過去の経験から、このような考え方は、研究の進展を阻害し、ときに潰してしまうことがわかっています。したがって私は、勤務先の会社が、研究について非常にオープンなアプローチをとってくれることを嬉しく思うのです。

情熱に従うことこそ研究者の信条

AIに興味のある学生や研究者の皆さんに対する私からのアドバイスは、「自らの情熱に従え」ということですね。研究の道は平坦ではありません。それでも続けていくためには、情熱が必要です。また、自分の研究テーマを追求しながら、ときには周囲に目を向けることも大切といえます。学びは、あらゆることから得られるのです。
私は、お金について考えたことはありません。報酬のために研究をするというのは、よくない考えです。私の叔父の１人はカサブランカで外科医をしていましたが、彼自身、患者の治療に全力をあげることが大切で、お金はその結果に過ぎないと教えてくれました。先進国であれば、コンピュータサイエンスや機械学習を学ぶ学生が、将来、生活に困るということはないでしょう。生活に不安がないなら、心置きなく情熱に従えるはずです。

（取材・文／大谷 和利）