[摘要]隨著apache hadoop 3.3.0發(fā)布， apache hadoop宣布正式支持騰訊云對象存儲cos。這樣，開發(fā)者在基于hadoop架構(gòu)進(jìn)行大數(shù)據(jù)分析時，能夠在不修改代碼的情況下，無縫高效地使用騰訊云cos來處理海量數(shù)據(jù)的讀寫任務(wù)。
隨著apache hadoop 3.3.0發(fā)布， apache hadoop宣布正式支持騰訊云對象存儲cos。這樣，開發(fā)者在基于hadoop架構(gòu)進(jìn)行大數(shù)據(jù)分析時，能夠在不修改代碼的情況下，無縫高效地使用騰訊云cos來處理海量數(shù)據(jù)的讀寫任務(wù)。這標(biāo)志著騰訊云對象存儲技術(shù)受到了全球最主流大數(shù)據(jù)開源社區(qū)的認(rèn)可。
大數(shù)據(jù)分析需要花費(fèi)大量的計(jì)算和存儲資源。在傳統(tǒng)模式下，計(jì)算與存儲資源耦合度較高，一旦資源不夠，就需要對二者同時進(jìn)行擴(kuò)容。近年來，在云計(jì)算的推動下，開發(fā)者逐漸開始采用云上對象存儲，來實(shí)現(xiàn)計(jì)算與存儲的分離，進(jìn)而提升資源的靈活性，并降低成本。
hadoop是目前應(yīng)用最為廣泛的分布式大數(shù)據(jù)處理框架，也是大數(shù)據(jù)處理領(lǐng)域事實(shí)上的標(biāo)準(zhǔn)。在數(shù)據(jù)價值越來越被重視的時代，hadoop也在互聯(lián)網(wǎng)、政務(wù)、金融等行業(yè)中被廣泛使用。
騰訊云對象存儲cos是一種具備安全穩(wěn)定、海量、便捷、低延遲、低成本等特點(diǎn)的云端分布式存儲服務(wù)，其底層采用騰訊自研存儲引擎yottastore，能夠?qū)崿F(xiàn)單集群理論管理百萬級節(jié)點(diǎn)，并且做到真正的按需擴(kuò)容，磁盤利用率達(dá)到 90% %u4ee5上。
hadoop社區(qū)支持騰訊云對象存儲以后，開發(fā)者在基于hadoop架構(gòu)進(jìn)行大數(shù)據(jù)分析時，能夠無縫使用到騰訊云對象存儲cos提供的高速云存儲服務(wù)。
“開發(fā)者在騰訊云上可以使用彈性 mapreduce（emr）計(jì)算，并直接使用騰訊云對象存儲cos作為后端存儲，整個過程都不需要額外添加代碼，更加方便和快捷。”騰訊云對象存儲負(fù)責(zé)人介紹。
目前，小紅書、獵豹移動、珍愛網(wǎng)等就使用了騰訊云“emr on cos”的計(jì)算與存儲分離模式，快速構(gòu)建和部署大數(shù)據(jù)分析程序，有效地滿足了大數(shù)據(jù)業(yè)務(wù)需求。