「仮説立案」こそ、分析の第一歩

データサイエンティストを志す学生・社会人が学ぶべき思考技術についてご紹介します。実際の分析業務においては、分析に必要な重要情報が往々にして欠落しています。それでも分析しなければいけない状況の時に、分析方法を考え、分析結果を出すには、ツールを使う技量だけではなく、仮説立案力が必要となります。仮説立案力はよく知られたいくつかの思考技術を継続活用することで伸ばすことができる後天的な能力です。

はじめに

私は、約5年前に他の技術開発業務からコンバートしてデータサイエンティストになりました。2013年1月、自動車メーカーへの出向から帰ってきて最初に待っていたのは、北米研への出張でした。2週間の研修の間に、北米研で開発したインバリアント分析技術を理解し、実データへの適用を演習によって習得しました。帰国後、AI技術開発のマネジメントをしながら、自チームで開発した技術をお客様のデータで実証する業務に従事しました。現在は、自社開発のAI技術を使った分析事業のマネジメントをしながら、自らも分析を続けています。当初、全く経験がない分野でしたが、私が比較的早くこの業務のコツを飲み込めたのは、研究職として培った仮説立案力が役立ったためだと考えています。この5年間、OJTで私が指導したデータサイエンティスト候補は30人を超えますが、これらの候補者においても、仮説立案力のレベルが、分析業務の飲み込みの早さに影響を与えていると感じることがたびたびありました。

本コラムでは、仮説立案力が、例えばインバリアント分析を使う実際の業務で、どのように発揮されるのかを説明した後、仮説立案力を支える思考技術とその鍛錬方法について説明します。データサイエンティストを志す学生・社会人の読者の皆様のお役に立てればと思います。

インバリアント分析技術について

この後の例を理解するために、インバリアント分析について概要を説明します。詳細は参考文献[1]を参照してください。インバリアント分析は、いつもの状態を機械学習し、いつもの状態ではない時に警報を鳴らすNEC the WISEの AI技術の一つです。いつもの状態ではない、とは、例えば故障そのものであったり、故障の予兆段階であったりします。インバリアント分析を使った分析業務では、この故障もしくは故障予兆をとらえることが可能かを、お客様データを使って技術検証します。いつもの状態として学習する期間の選定は重要で、この中に検知したい異常や異常の予兆段階のデータが入ってはいけません。

実際の分析例

ある設備故障の例で、仮説立案力と分析業務がどのように関係するかを説明します。故障がいつ発生したかは正確には記録を残していないものの、修理した日時は修理記録として残っていました。インバリアント分析では、いつもの状態の中に、故障の予兆段階のデータが入っていると、対象の予兆をとらえることができないため、故障がいつ起きたかを知ることは重要です。しかし、修理記録しか残っていない場合は、修理前の一定期間のどこかで故障が起きていたと仮説を立てる必要があります。ここでは修理の1日前から修理までのどこかで起きていたと仮説を立てました(仮説1)。次に、その前の1週間のどこかのタイミングから故障の予兆が出ていたと考えました(仮説2)。さらに、故障の予兆が出ていないだろう、さらにその前の1週間(仮説3)を学習期間として選定しました。

このような単純な分析にも関わらず、仮説は三つもあります！仮説を置いたことを忘れずに分析を開始します。すると、予兆が出ない(=警報が鳴らない)という悩みを抱えます。三つの仮説のどこかが間違っていたとすればどこでしょうか？ひょっとすると修理の1週間よりも前に故障の予兆は出ていたのかもしれません。そうだとすれば、学習期間が減るので少し嫌なのですが、学習期間を当初設定した期間の前半半分の3～4日間に変更して、再度分析します。このように、分析においては、既に置いた仮説を作り直して再分析することがよくあります。実際の分析業務では容赦なく締め切りが迫ってきますので、こうした仮説をどれだけ早く多く考えられるかが分析の成否を決定します。

もう一つ例を示します。ある設備の機能を動作させる条件判断をしたいという課題がありました。これもインバリアント分析で解決しました。与えられたデータは、複数の異なる環境下で機能をON/OFFそれぞれで計測した設備データです。データの素性は全てブラインドされ、TAG1、TAG2…のような記号名で表されていました。また、対象機能がどのように働くか教えていただけませんでした(指標も分からず)。教えていただけたのは、設備が何かと、環境1が動作不要な環境で、環境2が動作させたい環境である、ということのみです。そこで、環境1で学習すれば環境2は環境1とは違う挙動を示すはずだから異常として検知でき、それによってその機能を動作させるべきかどうか判断できるだろうと考えました。しかし、実際に分析すると全く警報が鳴りません。ここで前提を疑ってみました。仮にお客様の話が間違って伝わっていたとすればどうなるでしょうか？そこで、前提を変えて、環境1が動作させたい環境で、環境2が動作不要な環境である、として再分析してみました。その結果は、見事に当たりました。ご報告の席で伺ったところ、お客様が弊社の腕試しをしたかったらしく、実際に環境1と環境2を逆に伝えていたことが分かりました。

仮説立案に必要な3つの思考技術とその鍛え方

このように、データサイエンティストは、仮説を作り、その仮説を元にデータを観察・分析することで、完全な情報が与えられていなくても、望みの分析結果を入手します。

ここで仮説立案力は個人差が大きいため、アイディアが豊富ではない自分には無理と思う人もいるかもしれません。幸いなことに、この仮説立案力は3つの思考技術により後天的に鍛えることができると私は考えています。

私が仮説立案に必要と考える3つの思考技術とは、ロジカルシンキング、クリティカルシンキング、ラテラルシンキングです。

ロジカルシンキングは、物事の因果関係を整理し、体系だって説明・把握するための思考技術です。論理に飛躍がなく、納得を得やすい妥当な結論を導くのに役立ちます。他の思考技術よりもよく知られているので、読者の中にも、本を読んだり、卒論執筆の際に指導されたりした人も多いことでしょう。最初の例にあった、仮説の上に仮説を立てる期間の定め方は、このロジカルシンキングを使っています。
クリティカルシンキングは、今の前提やそこから導かれる結論・仮説が本当に正しいかどうかを客観的に考える思考技術です。2つ目の例で、前提を疑っているのが、このクリティカルシンキングの使用例となります。
ラテラルシンキングは、ロジカルシンキングが前提としている物事の因果関係の論理的繋がりを断ち、直接は繋がらない水平方向への飛躍的な思考を行うための技術です。何か新鮮味のあることを考えたり、行き詰った局面を打開したりするのに役立ちます。私の関わったPJでは、橋梁や工作機械などの異常を早期発見するために、インバリアント分析を周波数領域の分析までできるように拡張したことが一例となります(参考文献[2])。

それぞれの思考技術には、多くの思考のフレームワークが用意されており、このフレームワークをまずは理解し、理解した上で日々の実際の課題に対して使い続けることによって鍛錬します。フレームワークの全てを理解して使いこなす必要はなく、自分に合った方法を思考技術ごとにいくつか組み合わせて使えればよいのです。以下に私が実際に鍛錬した(することになった)方法を示します。
ロジカルシンキングを鍛える方法は、何度もプレゼン資料を作ったり論文を書いたりした上で、さらに他人によるレビューを受けて書き直す作業を続けることです。社会人であれば、プレゼン資料作成を通じて鍛える機会は比較的多いでしょう。学生の場合は、卒論や論文などの執筆・修正で鍛えることができます。
クリティカルシンキングを鍛える方法は、客観的にたくさん判断することです。部下や同僚のプレゼン資料や論文、企画アイディアに、論理的飛躍がないか、前提におかしな点はないかを穴を見つける気持ちでレビューします。部下を持つマネージャは日々の業務の中で鍛えることができます。しかし、学生や若い社会人の場合には、そうした機会は少ないかもしれません。そういう場合は、自分のプレゼン資料を自分自身でレビューすることによっても鍛えることができます。ただし、誰しも自分自身には甘いため、他人の資料をレビューするよりも学習効果が劣ります。そこで、お勧めは、気分が変わった翌日に読み返す、という方法です。
ラテラルシンキングを鍛える方法は、新しい機能や代替手段をたくさん考えることです。企画や新技術、問題解決方法のアイディアをたくさん考えることで鍛えられます。企画職や技術開発職、コンサルでは日々の職務により鍛えることができます。その他の職種では全く鍛える機会がない場合もあり、他の思考技術に比べて職歴の差が出やすいと感じています。学生の場合は、研究テーマを解決する方法をたくさん考えるのが良いと思います。例えば一つのテーマについて100個を目標とするなど。100個は多いなと思うかもしれません。しかし、最初の50個はロジカルシンキングだけで出てくる常識的なアイディアが多くを占めるものです。このロジカルシンキングによるアイディアが出尽くした後半戦こそが、ラテラルシンキングを真に鍛える機会なのです。

NEC内には、研究者から転身しデータサイエンティストとして活躍している人が多くいます。このケースがうまくいっている理由は、分析技術そのものに精通している面もあるとは思いますが、学生のうちに3つの思考技術のレベルが高い人が研究職に就きやすく、さらに入社後も自然に鍛えやすい環境だったためではないかと私は考えています。

おわりに

AIなどの分析ツールの使い方は数か月もあれば身につけることができます。一方で、今回ご紹介したような仮説立案力のようなベーススキルは、数か月で簡単に身につくものではありません。年単位の継続的な鍛錬が必要です。もしも今回ご紹介した思考技術で知らないものがあれば、まずは理論だけでも今すぐ理解しておいてください。その上で、日々の業務や生活の中で仮説立案力を鍛え、将来、前例のない課題でもスパッと解けるキレのあるデータサイエンティストを目指してステップアップしていただければと思います。

以上.

参考文献

参考文献[1]: 落合勝博 "大規模プラントの異常を早期検知するインバリアント分析技術 (小特集 機械エンジニアのためのビッグデータ)", 日本機械学会誌 118(1163), 620-623, 2015
参考文献[2]: 間瀬良太、笠原梓司、落合勝博 "インバリアント分析による道路橋劣化検知手法の提案", 電子情報通信学会基礎・境界ソサイエティ/NOLTAソサイエティ大会講演論文集 2016年_基礎・境界, p.196, 2016

お問い合わせ