NECは、複雑かつ高度な分析においても高い処理速度を維持しながら、高い拡張性を有したビッグデータのリアルタイム処理技術を開発しました。

昨今、携帯電話、自動車、家電などから収集される情報を、人間の手を介さずに処理するM2Mネットワークが拡大しており、様々な種類の膨大なデータ（ビッグデータ）をリアルタイムに分析して価値ある情報を得るニーズが高まっています。

ビッグデータを瞬時に分析するには、データの処理・分析条件(ルール)に基づき、発生したイベントの情報を反射的に処理する、複合イベント処理技術（Complex Event Processing: CEP）が用いられています。しかし従来のCEPでは、複雑な処理ルールを手動で振り分けて配置することが困難である、ルール間の関連性や依存関係によりサーバ間で無駄な通信が発生し処理速度が1/10以下に低下する、サーバの拡張性が低くデータ量の増減に対応できないなどの課題がありました。

このたび開発した技術は、処理ルールをサーバに自動で配置することで、データの種類・量が変動しても、サーバなどの計算リソースを効率的に利用して、高速処理を実現するものです。また、サーバが増減しても、処理ルールを自動で再配置できるため、従来は困難だった拡張性の高い（スケールアウト型）ビッグデータ処理基盤を実現します。

本技術の特長は次のとおりです。

1. 省リソースで、リアルタイム処理を実現
   並列配置した各サーバに、ユーザが予め作成した処理ルールを最適配置する（アルゴリズム）を開発。処理ルール間に関連性や依存関係がある場合は同一サーバに配置するとともに、各サーバの負荷を均一化。これにより、処理を局所化することでサーバ間の無駄な通信・連携を減少するとともに、負荷分散を実現し、少ない計算リソースで高速な複合イベント処理を実現。


2. 将来のデータ増に対応した、拡張性の高いシステムを実現
   配置した処理ルールに基づいて、発生したイベントを適切なサーバへ転送する技術を開発。これにより、サーバやネットワークの処理負荷を低減するとともに、将来のデータ増にともなうシステム拡張に対応。

本技術の評価のため、16台（システムとして10台、負荷発生器として6台）のサーバで10万通りの処理ルールを設定し、毎秒270万件のイベントが発生するシステムに適用した場合、リアルタイム処理が可能であることを実証しました。これは例えば、携帯電話へ店舗やクーポンの情報を提供するサービスを想定した場合、ユーザ5,000万人に対して、20秒に一回、10万件の店舗からユーザの属性にあった情報を配信可能な能力に相当します。さらに、提供するサービスに応じた大規模化も可能です。

NECは本技術の研究開発を進め、機器間通信を利用した新サービスを実現する M2Mソリューション「CONNEXIVE」の機能として、2012年度中に提供する予定です。

なお、本研究開発成果の一部は、2003～2007年度総務省委託研究「ユビキタスネットワーク技術の研究開発」および、2008～2010年度総務省委託研究「ユビキタス・プラットフォーム技術の研究開発（ユビキタスサービスプラットフォーム技術」によるものです。


【別紙】 NEC、ビッグデータの複雑な処理条件に対応し、高速・高拡張な複合イベント処理を実現する技術を開発
～ 5,000 万人の携帯電話ユーザごとに、最適な情報を配信 ～