中文亚洲精品无码_熟女乱子伦免费_人人超碰人人爱国产_亚洲熟妇女综合网

當(dāng)前位置: 首頁 > news >正文

太原網(wǎng)站建設(shè)技術(shù)托管鄭州seo哪家好

太原網(wǎng)站建設(shè)技術(shù)托管,鄭州seo哪家好,asp做留言板網(wǎng)站,遼寧住房與城鄉(xiāng)建設(shè)廳網(wǎng)站*作者:鄭揚(yáng)勇,云粒星河數(shù)據(jù)中臺(tái)產(chǎn)品負(fù)責(zé)人 云粒智慧科技有限公司成立于 2018 年 6 月,是中國聯(lián)通集團(tuán)混改以來成立的首家合資公司,是中國智慧城市數(shù)智化建設(shè)者。一直以來,云粒智慧以數(shù)字化、智能化、集約化產(chǎn)品為核心&…

*作者:鄭揚(yáng)勇,云粒星河數(shù)據(jù)中臺(tái)產(chǎn)品負(fù)責(zé)人

云粒智慧科技有限公司成立于 2018 年 6 月,是中國聯(lián)通集團(tuán)混改以來成立的首家合資公司,是中國智慧城市數(shù)智化建設(shè)者。一直以來,云粒智慧以數(shù)字化、智能化、集約化產(chǎn)品為核心,全面融合“5G+大數(shù)據(jù)+AI+CIM”等最新技術(shù),致力于構(gòu)建未來城市數(shù)字化基礎(chǔ)設(shè)施平臺(tái),打造“綠色、互聯(lián)、智能”的現(xiàn)代化智慧城市,為政企提供符合政策導(dǎo)向及智慧城市發(fā)展趨勢的“三中臺(tái)+智能化應(yīng)用”解決方案,實(shí)現(xiàn)城市智腦與生態(tài)環(huán)境可持續(xù)發(fā)展。

這里說到的“三中臺(tái)”,其最重要的中臺(tái)即云粒星河數(shù)據(jù)中臺(tái),是一套集“數(shù)據(jù)建設(shè)與運(yùn)營方法論、軟件+行業(yè)資產(chǎn)包和數(shù)據(jù)技術(shù)服務(wù)”的中臺(tái)體系,提供數(shù)據(jù)采集、融合、治理、計(jì)算、分析、服務(wù)、可視化的全鏈路一站式管理與服務(wù)。經(jīng)過四年 4 個(gè)大版本的迭代,目前已累計(jì)完成 80+ 客戶項(xiàng)目的落地交付,實(shí)現(xiàn)產(chǎn)品銷售總額超過 1.2 億元的好成績。

圖片

云粒星河數(shù)據(jù)中臺(tái)作為大數(shù)據(jù)處理系統(tǒng),數(shù)據(jù)引擎是其最重要的核心中間件。云粒星河數(shù)據(jù)中臺(tái)的數(shù)據(jù)引擎一直選用開源的 Apache Hive,自誕生,到 3.x 系列最后一個(gè)版本??傮w上 Apache Hive 是一個(gè)非常優(yōu)秀、久經(jīng)考驗(yàn)的 OLAP 引擎,但在項(xiàng)目落地實(shí)施的過程中,我們也遇到了諸多痛點(diǎn),導(dǎo)致最終交付成本偏高,拉低了項(xiàng)目的毛利率。

痛點(diǎn) 1:組件眾多,運(yùn)維困難,云原生化不友好

Hive 依賴 Hadoop,我們使用 HDFS 存儲(chǔ)數(shù)據(jù),YARN 作為資源管理框架,Tez 優(yōu)化 Hive DAG 任務(wù);由于需要高可用,每個(gè)節(jié)點(diǎn)都需要啟動(dòng)好幾個(gè)相關(guān)進(jìn)程,這些進(jìn)程的配置、監(jiān)控、伸縮、?;畹榷紭O大地增加了運(yùn)維工作量。由于 Hive 和 Hadoop 使用的是已經(jīng)老舊的按節(jié)點(diǎn)方式擴(kuò)縮容的架構(gòu)設(shè)計(jì),因此云原生非常不友好,社區(qū)至今也沒有提供容器化部署方案;自行嘗試通過 Statefulset 方式運(yùn)行在 Kubernetes 中并進(jìn)行性能測試,發(fā)現(xiàn)性能竟然有 30% 以上的下降,因此我們?nèi)匀皇褂梦锢頇C(jī)或 VM 方式部署。

痛點(diǎn) 2:資源利用率低, 任務(wù)調(diào)優(yōu)繁瑣復(fù)雜

由于 YARN 是雙層悲觀并發(fā)資源管理(調(diào)度)框架,經(jīng)過 Tez 優(yōu)化后的 Hive DAG 任務(wù)向 YARN 申請資源仍然是按固定配額(vCore 和 Mem)的方式進(jìn)行,為了能夠最大化利用資源提高并發(fā),需要在項(xiàng)目中根據(jù)任務(wù)處理數(shù)據(jù)量情況 Case By Case 做配置調(diào)優(yōu),并且隨著數(shù)據(jù)中臺(tái)數(shù)據(jù)處理量的不斷變化(通常情況是逐步增加),配置調(diào)優(yōu)的工作需要持續(xù)進(jìn)行,無法一勞永逸。

痛點(diǎn) 3:數(shù)據(jù)處理時(shí)延大,用戶體驗(yàn)差

由于諸多原因,我們沒有使用 Hive 的 LLAP 特性,這會(huì)導(dǎo)致 Hive 即使處理極小的數(shù)據(jù)量如數(shù)百條記錄,由于需要冷啟動(dòng)最低兩個(gè) YARN Container(含一個(gè) App Master),至少需要數(shù)秒才能返回,無法做到亞秒級交互式查詢,難以支持?jǐn)?shù)據(jù)大屏等實(shí)時(shí)性要求較高的下游應(yīng)用,為了解決這個(gè)問題,我們追加部署了基于 MPP 架構(gòu)的 Presto 引擎解決了這個(gè)問題,但這也帶來新的問題,即對內(nèi)存資源的需求也大大增加了,這種成本的增加最終還是會(huì)轉(zhuǎn)變?yōu)榻桓冻杀?#xff0c;降低項(xiàng)目利潤。

痛點(diǎn) 4:不支持行級更新,靈活性較低

Hive 是一個(gè)為數(shù)倉而生經(jīng)典的 OLAP 引擎,數(shù)據(jù)更新僅支持全表/分區(qū)級覆蓋,極低的情況下如果需要對遠(yuǎn)景冷區(qū)部分?jǐn)?shù)據(jù)進(jìn)行更新,處理較為麻煩;另外分區(qū)設(shè)置策略也頗為費(fèi)腦——粒度太大更新效率較低,粒度太小又容易發(fā)生分區(qū)和小文件數(shù)據(jù)量爆炸,表現(xiàn)為還是效率低下……

正是由于以上一些挑戰(zhàn),自云粒星河數(shù)據(jù)中臺(tái) 3.0 大版本發(fā)布支持多引擎并行能力開始,公司內(nèi)部一直在尋找一款穩(wěn)定可靠、AP 和 TP 兼?zhèn)?、能夠在集約資源環(huán)境下有較高效率表現(xiàn)的數(shù)據(jù)引擎。

圖片

但數(shù)據(jù)引擎作為基礎(chǔ)軟件百花齊放,我們?nèi)绾卧谝欢选昂谩避浖凶詈玫闹挥懈暨x更適合自己的以及怎么判斷適合?云??偨Y(jié)了如下五點(diǎn):

  • 開源軟件,友好的商業(yè) License;

  • 支持云原生;

  • 支持集群模式;

  • 支持私有化部署;

  • 有較高成熟度(社區(qū)、生態(tài)等)。

經(jīng)過較長時(shí)間的調(diào)研和比較,初步滿足條件的數(shù)據(jù)引擎僅剩以下? CockroachDB、YugabyteDB、PingCap TiDB、OceanBase 四款。其中,CockroachDB 社區(qū)版限制較多,例如,較為基礎(chǔ)的索引功能都需要獲取商業(yè)版License 解鎖;YugabyteDB 在內(nèi)部性能測試對比過程中表現(xiàn)較差,因此兩者排除較早;而對于后兩款,OceanBase 相比 TiDB,更適合我們的點(diǎn)在于以下三個(gè)方面:

第一,OceanBase 的架構(gòu)較為簡潔,只有 OBServer 和 OBProxy。而 TiDB 由PD、TiDB、TiKV、TiFlash 四個(gè)組件構(gòu)成。如果只是部署一套集群用于內(nèi)部服務(wù),那么二者的區(qū)別不大,但我們需要部署和運(yùn)維幾十甚至上百套集群,配置、部署、運(yùn)維等方面用 OceanBase 較為便利。

第二,OceanBase 原生支持多租戶,資源隔離和控制模型也比較清晰。而 TiDB 對于多租戶支持很晚(生產(chǎn)可用應(yīng)該是在 V7.0+),至今仍處于完善階段。云粒數(shù)據(jù)中臺(tái)作為一個(gè)原生多租戶系統(tǒng),使用 OceanBase 的多租戶體驗(yàn)更舒服。

第三,OceanBase 的生態(tài)策略感覺更開放。例如,數(shù)據(jù)集成方面專門為 DataX 開發(fā)了插件,更貼合我們現(xiàn)有技術(shù)路線。TiDB 雖然提供了更豐富的數(shù)據(jù)集成組件包含 TiCDC、TiDB Data Migration、TiDB Lightning,但我們整合進(jìn)產(chǎn)品會(huì)比較重,工作量會(huì)比較大。

基于上述因素,自 2021 年 OceanBase 宣布開源開始,其進(jìn)入我們的候選名單,2022 年,OceanBase 發(fā)布 4.0 版本,其迭代速度和性能改進(jìn)更是讓我們驚嘆,正是那時(shí),我們果斷確定產(chǎn)品選型并啟動(dòng)適配工作。

因?yàn)轫?xiàng)目體量較大及產(chǎn)品功能較多,且大多數(shù)都與數(shù)據(jù)引擎相關(guān),整個(gè)適配過程大概持續(xù)了兩個(gè)多月完美收工。數(shù)據(jù)引擎更換為 OceanBase 后的云粒星河數(shù)據(jù)中臺(tái)得到了如下優(yōu)化,極大緩解甚至消除了之前的痛點(diǎn)。

優(yōu)化 1:更簡介的架構(gòu),更好的云原生

圖片

左-更換前(Hive+Presto);右-更換后(單一OceanBase)

從上圖可以看出,相比 Hive 引擎,OceanBase 只需要在每個(gè)節(jié)點(diǎn)上啟動(dòng) OBProxy 和 OBServer 兩個(gè)進(jìn)程即可,通過 Prometheus 導(dǎo)出 Metrics,監(jiān)控運(yùn)維便捷省力。得益于架構(gòu)的簡潔,OceanBase 很容易實(shí)現(xiàn)云原生化,官方已提供在 Kubernetes 中部署運(yùn)行的詳細(xì)方案,這對云粒星河數(shù)據(jù)中臺(tái)本身實(shí)現(xiàn)徹底云原生化至關(guān)重要。

優(yōu)化2:讓每一核 CPU 發(fā)揮最大價(jià)值

私有化環(huán)境交付,客戶能夠提供的資源不足已經(jīng)是“家常便飯“,這就要求云粒星河數(shù)據(jù)中臺(tái)必須具備“螺螄殼里做道場”的能力,即在較低資源配置下也能有良好的處理能力表現(xiàn)。例如,我們甚至遇到個(gè)別客戶僅提供三臺(tái) 8C32GB 規(guī)格的服務(wù)器部署數(shù)據(jù)引擎。以往采用 Hive 結(jié)合 Presto 作為數(shù)據(jù)引擎。部署完各類組件,每個(gè)節(jié)點(diǎn)能夠提供給 YARN 調(diào)度的內(nèi)存往往就只剩下 10GB 左右,每個(gè)作業(yè)(Job)還需要啟動(dòng)一個(gè)獨(dú)立的用于協(xié)調(diào)的AppMaster(通常占用 1GB 內(nèi)存),使得在小數(shù)據(jù)量高并發(fā)場景下的性能表現(xiàn)雪上加霜。

前文也提到需要對于 YARN 資源分配的參數(shù)反復(fù)調(diào)校,費(fèi)時(shí)費(fèi)力。采用 OceanBase 作為數(shù)據(jù)引擎后,單租戶模式下,為 OBProxy 分配 2GB 內(nèi)存,系統(tǒng)租戶和租戶 META 租戶各分配 3GB 內(nèi)存,剩余內(nèi)存全部用于租戶本身,通過試驗(yàn),小數(shù)據(jù)量場景(單次處理數(shù)據(jù)量低于 1GB)并發(fā)能力相比 Hive 有十?dāng)?shù)倍提升,在較大的數(shù)據(jù)量(單次處理數(shù)據(jù)量超過 10GB)場景下也能做好處理,輕松榨干 CPU 每一核。

優(yōu)化 3:數(shù)據(jù)治理從分鐘級到準(zhǔn)實(shí)時(shí)

準(zhǔn)實(shí)時(shí)數(shù)據(jù)治理單次需要處理的數(shù)據(jù)量往往都較小,得益于高效的分布式計(jì)算調(diào)度和數(shù)據(jù)存儲(chǔ)結(jié)構(gòu),即使是邏輯較為復(fù)雜的數(shù)據(jù)治理 SQL,OceanBase 也能游刃有余地快速完成,以下是測試數(shù)據(jù)治理工作流執(zhí)行時(shí)間對比,它由一個(gè)數(shù)據(jù)接入節(jié)點(diǎn)和兩個(gè)數(shù)據(jù)更新寫入節(jié)點(diǎn)構(gòu)成,每次處理的數(shù)據(jù)量接近 1GB,資源配置同為三臺(tái) 8C32GB 服務(wù)器集群。

Hive

OceanBase

數(shù)據(jù)接入

21s

14s

數(shù)據(jù)更新1(兩個(gè)表關(guān)聯(lián))

24s

<1s

數(shù)據(jù)更新2(五個(gè)表關(guān)聯(lián))

39s

10s

可以看出,OceanBase 在小數(shù)據(jù)量場景下各方面的時(shí)延都遠(yuǎn)低于 Hive。而相比定位為單一 OLAP 引擎的 Hive,定位為 HTAP 引擎的 OceanBase 在 TP 方面的諸多優(yōu)勢不再贅述,對于冷數(shù)據(jù)行級更新更不在話下。

圖片

當(dāng)然,對于團(tuán)隊(duì)中習(xí)慣使用 Hive 做數(shù)據(jù)交付的同學(xué),在使用 OceanBase 的過程中,也有少量感覺不太方便的地方,主要有兩點(diǎn):

第一,OceanBase 不支持 Insert Overwrite,還好可以使用 Truncate/Delete + Insert 曲線支持,問題不大;

第二,OceanBase 不支持使用 List 分區(qū)策略時(shí)動(dòng)態(tài)分區(qū),因此每次插入數(shù)據(jù)時(shí),都需要檢查對應(yīng)的分區(qū)是否存在,如果不存在,則需要先 ALTER TABLE· ADD PARTITION,很不方便,希望未來能盡快支持。

另外,不可否認(rèn),當(dāng)單次需要處理的數(shù)據(jù)量上升到一定級別如 100GB 以上,憑借 ORC 或 Parquet 列存格式優(yōu)勢,Hive執(zhí)行數(shù)據(jù)分析的性能表現(xiàn)是優(yōu)于 OceanBase 的,不過可喜的是,列存計(jì)劃已列入產(chǎn)品 roadmap,希望在不久后可以看到更強(qiáng)的 AP 性能能力。

圖片

目前,更換為 OceanBase 作為數(shù)據(jù)引擎的云粒星河數(shù)據(jù)中臺(tái) 4.0 已經(jīng)在項(xiàng)目上實(shí)施落地。總的來說,OceanBase 更簡潔的架構(gòu)、更輕便的運(yùn)維,幫助我們加速了數(shù)據(jù)中臺(tái)云原生的進(jìn)程,提升資源利用率的同時(shí),并發(fā)性能提升 10+ 倍,數(shù)據(jù)處理時(shí)延降低 1.5-24 倍。這帶來的直觀效益是機(jī)器成本與運(yùn)維人力的節(jié)約,進(jìn)而帶來了 20% 的毛利率提升。

非常感謝 OceanBase 貢獻(xiàn)優(yōu)秀的數(shù)據(jù)引擎,希望它能越做越好,成為數(shù)據(jù)引擎領(lǐng)域“國產(chǎn)之光”,向世界展現(xiàn)中國技術(shù)實(shí)力!

http://m.risenshineclean.com/news/48160.html

相關(guān)文章:

  • 福建設(shè)計(jì)院網(wǎng)站百度百度一下就知道
  • 去哪找想做網(wǎng)站的客戶2023年8月疫情嚴(yán)重嗎
  • 無錫高端網(wǎng)站建設(shè)寧波seo搜索引擎優(yōu)化公司
  • 網(wǎng)站換了域名還被k站不安仁網(wǎng)絡(luò)推廣
  • 整站排名優(yōu)化品牌怎么推廣網(wǎng)站鏈接
  • 專業(yè)做淘寶網(wǎng)站公司嗎seo是什么職業(yè)崗位
  • 部署在本地的wordpress太原網(wǎng)站優(yōu)化公司
  • 武昌網(wǎng)站建設(shè)推廣手段和渠道有哪些
  • 專業(yè)做網(wǎng)站app的公司有哪些有品質(zhì)的網(wǎng)站推廣公司
  • 如何網(wǎng)站建設(shè)seo優(yōu)化排名百度教程
  • 物流三方網(wǎng)站怎么做重慶森林電影
  • 網(wǎng)站數(shù)據(jù)鏈接怎么做商城推廣軟文范文
  • 泉州網(wǎng)站制作平臺(tái)谷歌google play下載
  • 如何做網(wǎng)絡(luò)營銷直播倉山區(qū)seo引擎優(yōu)化軟件
  • 北京最好的網(wǎng)站建設(shè)公司全國疫情高峰感染高峰進(jìn)度
  • 西寧商城網(wǎng)站建設(shè)公司網(wǎng)站關(guān)鍵詞優(yōu)化有用嗎
  • 滄州網(wǎng)站備案哈爾濱網(wǎng)絡(luò)推廣
  • 如何做電商網(wǎng)站成都seo培
  • 世界杯視頻直播網(wǎng)站房地產(chǎn)十大營銷手段
  • 太原網(wǎng)站制作案例公司網(wǎng)站模版
  • 柯橋做網(wǎng)站的公司百度網(wǎng)盤官網(wǎng)登錄首頁
  • 怎么做網(wǎng)站訪問統(tǒng)計(jì)手機(jī)創(chuàng)建網(wǎng)站免費(fèi)注冊
  • 有pc網(wǎng)站 移動(dòng)網(wǎng)站怎么做關(guān)鍵詞怎么找出來
  • 企業(yè)網(wǎng)站建設(shè)哪里好推廣鏈接點(diǎn)擊器
  • 鶴壁seo東莞做網(wǎng)站優(yōu)化
  • 網(wǎng)站是誰做的企業(yè)產(chǎn)品網(wǎng)絡(luò)推廣
  • java網(wǎng)站開發(fā)計(jì)劃表情感營銷案例
  • 廣州部隊(duì)網(wǎng)站建設(shè)費(fèi)用拓客團(tuán)隊(duì)怎么聯(lián)系
  • 做網(wǎng)站需要用什么開發(fā)軟件福州百度分公司
  • 北京網(wǎng)站編程培訓(xùn)石家莊關(guān)鍵詞優(yōu)化平臺(tái)