特長/機能: 大規模分散処理フレームワーク Hadoop

Hadoopの特長

１．大量データを処理できる分散処理

複数ノードで処理を実行

2. 大きなデータストレージ

複数のノードのローカルディスクにデータを溜められるため、大量データを扱うことができ、しかも安価

3. ハードウェア障害に影響されない可用性

複数のノードにデータを保存するため、あるノードに物理障害が発生してもデータの可用性を担保

4. スケールアウト

処理能力が足りなくなった場合、ノードを追加することにより、スケールアウト可能

既存システムの許容量を超えてしまうようなデータ量の蓄積、データ量増大によるデータ加工やBIツール処理の性能劣化、スケールアップで対処を試みることによる予算オーバーなど、処理したいデータ量が増えるとさまざまな課題が浮上してきます。

Hadoopは、大量のデータ処理が必要になる「データレイク」「DWH/BIシステム」「バッチ処理」に導入することで効果を発揮します。

	Hadoop	RDBMS
適している処理	ある程度まとまったデータ処理	多頻度の処理
特徴	集計などのバッチ処理同時アクセス数が少ないスケールアウト	トランザクション処理同時アクセス数が多いスケールアップ
求められる要件	数十テラバイト以上の大量データを対象とした分析構造化/非構造化データの格納、処理	トランザクション制御大量の同時アクセス処理時のスループット