Vol.65 No.2 （2013年9月）

ビッグデータ活用を支える基盤技術・ソリューション特集

データ管理/処理基盤

孝忠 大輔 ・三国 晋章

爆発的に増え続けるデータからタイムリーに価値ある情報を抽出するために、ビッグデータをアドホックに分析したいというニーズが高まっています。高速分析プラットフォームとして「InfoFrame DWH Appliance」が注目されている理由と、Webサイトにおけるアクセスログをアドホックに分析し、マーケティングに活用している事例について紹介します。

飯島 明夫 ・工藤 雅司

プロジェクトごとにデータ量や必要とされるコンピューティング処理能力が異なり、日々増殖して変動するビッグデータを効率的に処理するためには、必要なICTリソースをダイナミックかつスケーラブルに最適配置する必要があります。本稿では、OpenFlow/Software Defined Network（SDN）技術を用いて、ダイナミックにコンピュータ及びネットワークリソースの最適化を実現するプログラマブルフローの特長や有効性について述べます。

大沢 英紀 ・宮田 剛

ビッグデータ時代では、大量に発生するデータをリアルタイムに処理することにより、新しい価値やビジネスを創出するニーズが高まっています。大量データをリアルタイムに処理するためには、個々のデータ処理を高速化することに加え、高スループットを実現することが必要です。本稿では、並列データの高速処理が可能で、大量データのリアルタイム処理に適したメモリDB製品「InfoFrame Table Access Method」について紹介します。

川畠 輝聖 ・濱田 光保 ・田村 稔 ・白馬 智博

情報爆発の時代となり、近年では大量データに対するさまざまな分析ニーズが出てきています。一方で、ハードウェアの進化から搭載できるメモリ量は飛躍的に増大しています。「InfoFrame DataBooster」はカラムストアをベースとしたインメモリデータ処理技術により、大量データを高速処理するニーズに応えてきました。本稿では一般的なRDBとInfoFrame DataBoosterとの違いや、最新バージョンを搭載したSQLインタフェース開発の背景と開発方法、InfoFrame DataBoosterの利用方法、適用領域（採用事例）について紹介します。

祐成 光樹 ・田村 稔

ビッグデータを活用するに当たり、既存のリレーショナルデータベースはデータ量・アクセス数の増加に柔軟に対応（スケールアウト）できない課題がありました。一方、先進技術であるキーバリューストアはSQLを用いたデータアクセスや基幹業務で必要なトランザクション処理が利用できない課題がありました。「InfoFrame Relational Store（IRS）」は、（1）SQLインタフェース（2）トランザクション処理（3）基幹業務に適用できる高信頼性を備えた、ビッグデータの活用に最適なスケールアウト型データベースです。本稿ではIRSの特長及びアーキテクチャについて紹介します。

那須 康之

大量のビッグデータを高速に処理するためには、処理対象のデータをできるだけCPUに近い場所に置くことが重要です。「Express5800/スケーラブルHAサーバ」シリーズは最大2TBの大容量メモリを利用可能な、ビッグデータ処理基盤として最適なサーバです。多数のI/Oスロットを備えているため、近年注目されている高速なPCI Express接続型SSDを利用した、高コストパフォーマンスなシステム構築にも適しています。本稿では、その優れた特長とそれらを生かした活用例について紹介します。

高橋 千恵子 ・世良 直彦 ・突元 賢治 ・大崎 寛達

近年、ネット企業を中心に「ビッグデータ」に対する処理技術の開発が進められてきました。Apache Hadoopはそれらの技術を基に、ペタバイト級の巨大データの蓄積とそれに対する分散処理をスケールアウトで実現するOSSとして注目を集めています。NECでは、Apache Hadoopについて検証を行い、その特性に合わせた構築を行っています。また一般に難しいといわれるApache Hadoopのサイジングについて、シミュレーション技術により予測可能とする技術を開発しており、その内容についても紹介します。

川名部 正純 ・吉村 茂 ・宇高 淳也 ・吉岡 弘 ・水町 弘明 ・加藤 貢

経営情報のバックアップや取引先とのメールアーカイブなど、長期保管が求められる企業データが急増するなか、大容量データを安全かつ容易に格納したいというニーズが、ますます高まっています。「HYDRAstor」は、革新的なグリッドアーキテクチャの採用により、高い性能と拡張性、信頼性、及び運用管理の省力化を実現し、この要望に応えるグリッドストレージであり、ビッグデータの格納に適しています。本稿では、HYDRAstorに採用されている技術の概要及び特長と、活用方法について紹介します。

データ分析基盤

室井 泰幸 ・向井 慶和

情報爆発が叫ばれるなか、ファイルサーバに格納される情報は肥大化の一途をたどっています。肥大化する情報により、ファイルサーバ内の情報把握と整理・活用は困難になってきています。ファイルサーバの「見える化」「スリム化」「活性化」「適正化」を実現するツールInformation Assessment Systemの最新版V2.1では、高速データ処理エンジンInfoFrame DataBoosterを活用することで、大規模ファイルサーバへの対応と高速検索・集計によるインタラクティブな分析を実現しました。

蘇 雷明 ・坂本 静生

インド国民ID制度は、世界人口の約1/6にあたる12億人をバイオメトリック認証で識別しようとする、これまで世界に類をみない超大規模システムです。他にもこのような国家的な規模の認証システムの検討が進んでおり、NECは実現へ向けて開発を進めています。本稿ではこの超大規模バイオメトリクス情報を処理するシステムについて説明します。

加藤 清志 ・矢吹 謙太郎

統合運用管理ソフトウェアWebSAMでは、対象システムからさまざまな情報を収集して、俯瞰的にその状態を分析し、管理者通知や対処を実行します。このような分析の処理フローは、ビッグデータに求められる機能とも類似するものです。このWebSAMの性能分析製品 Invariant Analyzerでは、大量の性能データの相関関係を自動抽出し、隠れた障害の兆候を発見できます。本稿では、WebSAMの分析技術とビッグデータとの親和性について考察し、インバリアント分析技術の運用管理分野以外の領域への展開例を紹介します。

データ収集基盤

奥屋 滋

NECは、これからの安心・安全な街づくりと産業再生のための新たなアンビエント情報社会の構築に向けて、「モノ」からの情報収集または「モノ」の制御を実現するM2Mソリューション「CONNEXIVE」を提供しています。CONNEXIVEで得られた情報を分析・解析するビッグデータ処理技術を活用し、未来都市のスマートシティや環境未来都市のスマートコミュニティなどの豊かで革新的なスマートな情報社会の実現を目指します。

佐々木 康弘 ・高橋 尚武 ・相本 隆司 ・源新 輝

NECグループでは、従来比約20倍の高感度な圧電式振動センサを開発しました。振動センサは、人の聴覚と触覚を担う感覚器官に相当します。実世界には人・モノ・環境から発せられる振動情報が溢れており、この振動センサはこれまで検知困難で利用できなかった微小な振動波形データを収集できます。異常を示す周波数成分の抽出とその意味の分析をクラウドで行い、状況や状態を正確に把握して重大事象発生の予防につなげることで、安心・安全な社会の実現を目指しています。本稿では、新たに開発した振動センサの特長と、その応用開発の取り組みについて紹介します。

ビッグデータ処理を支える先進技術

西村 祥治

Webサイトのログデータ、センサ情報などの大量データが収集、解析、利用されるようになってきました。これらの大量データの格納先として、従来よく用いられてきたリレーショナルデータベースに代わり、データサイズに対してスケールアウトさせやすいキーバリューストア（KVS）が注目されています。しかし、KVSは単純な検索機能しか提供していません。本稿では、KVSの1つであるHBaseを拡張し、そのスケーラビリティを損ねることなく、多次元データに対する効率的な範囲検索を実現した「MD-HBase」を紹介します。

仙田 修司 ・柴田 剛志 ・池谷 彰彦

「超解像」は、解像度の低い画像から鮮明で解像度の高い画像を復元する手法です。高解像画像に正しく復元するには、低解像画像では失われている高周波成分を何らかの手段で推定する必要があります。本稿では、大量の学習用画像を「パッチ」と呼ばれる小領域に分割し、低解像画像と高解像画像との関係をパッチ単位で蓄積する事例ベースの学習型超解像について述べます。実験結果によって、特に文字や人間の顔など特定の被写体に対して大きな効果があることを示します。

土田 正明 ・石川 開 ・久寿居 大 ・楠村 幸貴 ・中尾 敏康・山田 昭雄

ビッグデータに含まれる大量のテキストは、人が人に情報や意図を伝えるために作成されたデータであるため、価値の高い情報が含まれる重要な情報源です。NECでは、大量のテキストデータから「顧客の声」や「風評」を抽出して、マーケティング、企業リスク管理、顧客管理などに活用するための技術開発に取り組んでいます。本稿では、最近の研究開発成果から文間の意味の包含関係を認識するテキスト含意認識技術、サイバー情報からの風評検知技術、コンタクトセンター業務を効率化する意味検索技術を紹介します。

藤巻 遼平 ・森永 聡

近年のビジネスでは、ビッグデータを分析して得られる知見を活用することが不可欠になりつつあります。しかしビッグデータは、異なるパターンや規則性に従っているデータが混在して収集・蓄積されていること（データの異種混合性）が多いため分析が難しく、そのため、データの異種混合性が非常に重要視されるようになりました。本稿では、NECが開発した異種混合データの最先端分析技術である「異種混合学習」について、いくつかの応用事例を交えながら紹介し、これまで漫然と収集されているだけだったデータ活用の可能性に関して論じます。

Martin Bauer ・Dan Dobre ・Nuno Santos ・Mischa Schmidt

モバイルインターネットの爆発的成長により、予測可能な応答時間内で大量のモバイルデータの処理を可能にする、スケーラブルなインフラが必要とされています。私たちは、クラウド上のジオタグ付きデータストリームに対する継続的なジオクエリをサポートする、スケーラブルなシステムを開発しました。実験の結果、開発したシステムは、サポートするジオクエリの数及びスループットの両方においてスケーラブルであることが確認できました。

Maurizio Dusi ・Nico d'Heureuse ・Felipe Huici ・Andrea di Pietro
Nicola Bonelli ・Giuseppe Bianchi ・Brian Trammell ・Saverio Niccolini

本稿は、高性能データストリーム分析を実現する、新しい構成が可能な画期的なソフトウェアベースのビッグデータ・プラットフォーム「Blockmon」について説明します。Blockmonは、幅広い分野でアプリケーションが実行できるよう設計されています。ネットワークデータ処理・監視プラットフォームとして使用した場合、1台のコモディティサーバ上で、10GB/sの連続トラフィックを最高でレイヤ7（例．Deep Packet Inspection ：DPI）まで取り扱うことが可能です。また、サーバログ処理プラットフォームとして使用した場合には、Blockmon上に構築した不正検出アルゴリズムにより、マシン1台で最大70,000cps（日本全体の電話トラフィックにも対応可能な最大2億5,000万BHCA）の分析が行えます。Blockmonを商品化することにより、オペレータ・ネットワークの分析やその他の分野、特にウェブ分析、金融市場分析などのアプリケーションへの適用が期待されます。

普通論文

岡山 高明 ・影山 達哉 ・大橋 淳 ・峰岸 聰 ・村上 雅彦 ・仙洞田 充

大規模災害時において、携帯電話による通話やデータ通信が大規模かつ集中して発生し、移動通信網東日本大震災の被災地では、現在も多くの方々が仮設住宅で生活していますが、そこでは重要な情報の伝達・共有、住民間の交流などの「コミュニティ」機能の形成が課題となっています。また、被災地のみならず各地の自治体でも過疎化・高齢化などによる地域コミュニティの崩壊が懸念されています。「まちづくりコミュニティ形成支援システム」は、誰もが使い慣れた地上デジタルTVを情報端末として活用し、自治体、町内会/自治会、NPOや住民自らが制作した映像コンテンツを手軽に、タイムリーに提供することで新しいコミュニティの形成に資するものです。

NEC Information

ニュース