ページの先頭です。

サイト内の現在位置を表示しています。
  1. ホーム
  2. 製品
  3. NEC Solution Platforms
  4. ラインアップ
  5. Data Platform for Hadoop
  6. データレイク・ソリューションとは
  7. 出来ること
  8. 大容量データの高速SQLクエリ
ここから本文です。

大容量データの高速SQLクエリ処理

アドホッククエリによる分析、バッチ処理による定例レポートの作成を低コストで実現

Hadoop/Sparkを活用したプラットフォームでは、より長期のデータやセンサー・ログなどの新しいデータを対象とした高速SQLクエリ処理を実現できます。

Hadoop/Sparkを活用した分析プラットフォームは、これまで、大量データのバッチによる定例的なレポートは得意でしたが、都度単発的に行われるようなアドホック分析ではパフォーマンスに課題があるケースがありました。

その解決のため、Hortonworks Data PlatformはHadoop用のデータウェアハウス機能(Hive)の最新のバージョンと最新技術(LLAP:Live Long and Processなど)の採用により、SQLによるクエリ処理の高速化を進めてきました。

これにより、Hadoopを意識した新たなクエリ処理を学習しなくとも、SQLを用いた十分なパフォーマンスを維持した分析ができます。

さらに、定例レポートとアドホッククエリーの両方を、より長期間のデータを対象とした分析や従来型のデータと新しいデータとを組み合わせた分析を行うことが可能です。

SQL言語でのデータ分析処理

Hadoopでデータ処理を実行する際は、下記の画面の通り、テーブル操作を行うようにデータの問い合わせをすることができます。

SQL言語に似た言語のため、Hadoopだからと言って新たな知識や技術を学ぶ必要なく、手軽に操作できます。 また、SQLでは扱えなかったような大量データの分散処理をインメモリで行なうため、高速に処理できます。

Druidを用いた高速アドホッククエリー処理

Hiveと統合されたDruidを使用することで、クエリにはHiveと同じSQL言語を使用することが出来ます。

使い慣れたBIツールが発行する様々なアドホッククエリに対応できるため、ストレスなく最新のデータを分析することができます。

また、Druidは、IoTデータに多い、時系列に沿って発生するデータが取扱いに向いており、大量に発生するイベントログやセンサー情報など、重要度が増してきている新しいでしたのリアルタイムでの蓄積、検索を実現します。

  • Hortonworks、Hortonworks Data Platform、Hortonworks DataFlow、Hortonworks Cybersecurity Platform、Hortonworks DataPlane Serviceの名称およびそのロゴは、Hortonworks, Inc.の米国およびその他の国における登録商標または商標です。
    Apache, Hadoop, Falcon, Atlas, Tez, Sqoop, Flume, Kafka, Pig, Hive, HBase, Accumulo, Storm, Solr, Spark, Ranger, Knox, Ambari, ZooKeeper, Oozie, Phoenix, NiFi, Zeppelin, Slider, MapReduce, HDFS, YARN, and Druidの名称およびそのロゴは、Apache Software Foundationの米国およびその他の国における登録商標または商標です。

ページの先頭へ戻る