wordpress js 頁(yè)腳seo經(jīng)驗(yàn)是什么
1. MapReduce定義
MapReduce是一個(gè)分布式運(yùn)算程序的編程框架,是用戶開發(fā)“基于Hadoop的數(shù)據(jù)分析應(yīng)用”的核心框架。
MapReduce核心功能是將用戶編寫的業(yè)務(wù)邏輯代碼和自帶默認(rèn)組件整合成一個(gè)完整的分布式運(yùn)算程序,并發(fā)運(yùn)行在一個(gè)Hadoop集群上。
2. MapReduce優(yōu)缺點(diǎn)
2.1 優(yōu)點(diǎn)
- MapReduce易于編程
它簡(jiǎn)單的實(shí)現(xiàn)一些接口,就可以完成一個(gè)分布式程序,這個(gè)分布式程序可以分布到大量廉價(jià)的機(jī)器上運(yùn)行,也就是說你寫一個(gè)分布式程序,跟寫一個(gè)簡(jiǎn)單的串行程序是一模一樣的。
- 良好擴(kuò)展性
可以動(dòng)態(tài)增加服務(wù)器,解決計(jì)算資源不夠的問題。
- 高容錯(cuò)性
任何一臺(tái)機(jī)器掛掉,可以將任務(wù)轉(zhuǎn)移到其他節(jié)點(diǎn)。
- 適合海量數(shù)據(jù)計(jì)算
幾千臺(tái)服務(wù)器共同計(jì)算。
2.2 缺點(diǎn)
- 不擅長(zhǎng)實(shí)時(shí)計(jì)算。
- 不擅長(zhǎng)流式計(jì)算。
- 不擅長(zhǎng)DAG有向無環(huán)圖計(jì)算。
3. MapReduce核心編程思想
4. MapReduce進(jìn)程
一個(gè)完整的MapReduce程序在分布式運(yùn)行時(shí)有三類實(shí)例進(jìn)程。
- MrAppMaster:負(fù)責(zé)整個(gè)程序的過程調(diào)度及狀態(tài)協(xié)調(diào)。
- MapTask:負(fù)責(zé)Map階段的整個(gè)數(shù)據(jù)處理流程。
- ReduceTask:負(fù)責(zé)Reduce階段的整個(gè)數(shù)據(jù)處理流程。
4.1 Mapper階段
- 用戶自定義的Mapper要繼承自己的父類。
- Mapper的輸入數(shù)據(jù)是KV對(duì)的形式(KV的類型可以自定義)
- Mapper中的業(yè)務(wù)邏輯寫在map()方法中。
- Mapper的輸出數(shù)據(jù)是KV對(duì)的形式(KV的類型可自定義)
- map()方法(MapTask進(jìn)程)對(duì)每一個(gè)<K,V>調(diào)用一次。
Mapper階段的輸入數(shù)據(jù)是<偏移量,String的序列類型>
輸出數(shù)據(jù)是<String的序列類型,Int的序列類型>
4.2 Reducer階段
- 用戶自定義的Reducer要繼承自己的父類。
- Reducer的輸入數(shù)據(jù)類型對(duì)應(yīng)Mapper的輸出數(shù)據(jù)類型,也是KV。
- Reducer的業(yè)務(wù)邏輯寫在reduce方法中
- ReduceTask進(jìn)程對(duì)每一組相同的<KV>組調(diào)用一次reduce方法。
Reducer階段的輸入數(shù)據(jù)是<String的序列類型,集合類型>
輸出數(shù)據(jù)是<String的序列類型,Int的序列類型>
4.3 Driver階段
相當(dāng)于YARN集群的客戶端,用于提交我們整個(gè)程序到Y(jié)ARN集群,提交的是封裝了MapReduce程序相關(guān)運(yùn)行參數(shù)的job對(duì)象。
- 獲取配置信息,獲取job對(duì)象實(shí)例。
- 指定本程序的jar包所在的本地路徑。
- 關(guān)聯(lián)Mapper/Reducer業(yè)務(wù)類。
- 指定Mapper輸出的ky類型。
- 指定最終輸出的數(shù)據(jù)的kv類型。
- 指定job的輸入原始文件所在的目錄。
- 指定job的輸出結(jié)果所在的目錄。
- 提交作業(yè)。