Japan
サイト内の現在位置を表示しています。
Hadoop - 特長/機能
Hadoopの特長
１．大量データを処理できる分散処理
複数ノードで処理を実行
2. 大きなデータストレージ
複数のノードのローカルディスクにデータを溜められるため、大量データを扱うことができ、しかも安価
3. ハードウェア障害に影響されない可用性
複数のノードにデータを保存するため、あるノードに物理障害が発生してもデータの可用性を担保
4. スケールアウト
処理能力が足りなくなった場合、ノードを追加することにより、スケールアウト可能
Hadoopが活用される領域
既存システムの許容量を超えてしまうようなデータ量の蓄積、データ量増大によるデータ加工やBIツール処理の性能劣化、スケールアップで対処を試みることによる予算オーバーなど、処理したいデータ量が増えると さまざまな課題が浮上してきます。
Hadoopは、大量のデータ処理が必要になる「データレイク」「DWH/BIシステム」「バッチ処理」に導入することで効果を発揮します。
-
データレイク：蓄積されたあらゆるデータを利用した分析
- DWH/BI：データ量増加によるシステム負荷軽減、捨てていたデータの蓄積
- バッチ処理：想定時間内に終わらないバッチ処理の高速化、システム拡張コスト削減
HadoopとRDBMSとの比較
| Hadoop | RDBMS | |
|---|---|---|
| 適している処理 |
ある程度まとまったデータ処理 |
多頻度の処理 |
| 特徴 |
集計などのバッチ処理 |
トランザクション処理 |
| 求められる要件 |
数十テラバイト以上の大量データを対象とした分析 |
トランザクション制御 |
