Hadoop是一個開源的分布式計算框架,主要用于大數(shù)據(jù)的存儲和處理，即一個包含多種組件的綜合分布式系統(tǒng),組件相互協(xié)作完成從數(shù)據(jù)存儲到計算分析的完整功能。

關(guān)鍵詞——容災

主從結(jié)構(gòu)、多副本

主要特點

1. 分布式存儲 - Hadoop采用HDFS文件系統(tǒng),可以將大數(shù)據(jù)分布式存儲在集群中的多臺服務器上。
2. 分布式計算 - Hadoop的計算框架MapReduce可以在分布式服務器上并行處理大量數(shù)據(jù)。
3. 高容錯性 - Hadoop可以自動保存數(shù)據(jù)的多個副本,并且可以在節(jié)點失敗時自動將失敗節(jié)點上的工作轉(zhuǎn)移到另一個節(jié)點上。
4. 高擴展性 - Hadoop集群可以方便地擴展到數(shù)以千計的節(jié)點。Hadoop的計算和存儲能力可以隨著新節(jié)點的加入線性擴展。
5. 低成本 - Hadoop可以在廉價的商用服務器上運行,大大降低了大數(shù)據(jù)處理的成本。

組件相關(guān)信息

核心組件

• HDFS(Hadoop Distributed File System):Hadoop 的分布式文件系統(tǒng),用于存儲和訪問大量數(shù)據(jù)。
• YARN(Yet Another Resource Negotiator): Hadoop 的資源管理和作業(yè)調(diào)度平臺。
• MapReduce:Hadoop 的分布式并行計算框架,用于大規(guī)模數(shù)據(jù)集的批處理計算。

功能性組件

• Hive:基于 Hadoop 的數(shù)據(jù)倉庫,提供 SQL 查詢功能。
• Sqoop:用于 Hadoop 和關(guān)系型數(shù)據(jù)庫之間導入導出數(shù)據(jù)。
• Flume:實時收集、聚合和傳輸大量日志數(shù)據(jù)的系統(tǒng)。
• HBase:Hadoop 的分布式列存儲數(shù)據(jù)庫。
• ZooKeeper:用于構(gòu)建分布式應用的協(xié)調(diào)服務。
• Ambari:Hadoop 集群的provision、管理和監(jiān)控工具。

其他組件

• Pig:基于 Hadoop 的高級數(shù)據(jù)流語言,用于分析大規(guī)模數(shù)據(jù)集。
• Common:Hadoop 的通用工具和實用程序,包括 IO、RPC、序列化、配置等。
• Oozie:Hadoop 的工作流調(diào)度和協(xié)調(diào)系統(tǒng)。
• Avro:Hadoop 的數(shù)據(jù)序列化系統(tǒng)。
• Mahout:Hadoop 的機器學習算法庫。