1，如何實(shí)現(xiàn)大數(shù)存儲(chǔ)2，金窩窩的區(qū)塊鏈技術(shù)是如何將數(shù)據(jù)進(jìn)行儲(chǔ)存的3，怎樣存儲(chǔ)大數(shù)據(jù)4，大數(shù)據(jù)時(shí)代數(shù)據(jù)應(yīng)該如何存儲(chǔ)1，如何實(shí)現(xiàn)大數(shù)存儲(chǔ)
你的大數(shù)意義是不是一個(gè)很大的數(shù)字啊。要是的話就用字符串來存儲(chǔ)，然后當(dāng)你要運(yùn)算的時(shí)候就一個(gè)一個(gè)字符去進(jìn)行。數(shù)據(jù)庫分表，分庫。
用一定的算法，
把這些分散的數(shù)據(jù)在歸攏起來。多大
2，金窩窩的區(qū)塊鏈技術(shù)是如何將數(shù)據(jù)進(jìn)行儲(chǔ)存的
簡(jiǎn)單的來說，區(qū)塊鏈的數(shù)據(jù)儲(chǔ)存是通過區(qū)塊通過公式算法過程后被正式納入?yún)^(qū)塊鏈中儲(chǔ)存，全網(wǎng)節(jié)點(diǎn)均表示接受該區(qū)塊，而表示接受的方法，就是將區(qū)塊的隨機(jī)散列值是為最新的區(qū)塊散列值，興趣快的制造將以該區(qū)塊鏈為基礎(chǔ)進(jìn)行延長(zhǎng)。簡(jiǎn)單的說，區(qū)塊鏈和大數(shù)據(jù)都是熱門的話題，大數(shù)據(jù)的發(fā)展早于區(qū)塊鏈，目前已經(jīng)成為了一個(gè)龐大的產(chǎn)業(yè)，而將發(fā)展中的區(qū)塊鏈技術(shù)與大數(shù)據(jù)相結(jié)合，就會(huì)碰撞出不一樣的效應(yīng)。從技術(shù)角度看，大數(shù)據(jù)技術(shù)用信任換取了計(jì)算資源，而區(qū)塊鏈技術(shù)用計(jì)算資源換取了信任，所以兩者的結(jié)合就掀起了信息安全的新浪潮?；趨^(qū)塊鏈分布式數(shù)據(jù)存儲(chǔ)、去中心化、不可篡改、可追溯、可信任等特性，金窩窩網(wǎng)絡(luò)科技集團(tuán)組建了強(qiáng)大的區(qū)塊鏈研究團(tuán)隊(duì)，目前，金窩窩已經(jīng)申請(qǐng)區(qū)塊鏈專利技術(shù)3項(xiàng)。未來，金窩窩集團(tuán)將深度研究以區(qū)塊鏈為底層技術(shù)的大數(shù)據(jù)服務(wù)，力求構(gòu)筑平臺(tái)上個(gè)人、企業(yè)之間的信用關(guān)系，沉淀信用數(shù)據(jù)，為企業(yè)的商業(yè)模型設(shè)計(jì)和精準(zhǔn)營(yíng)銷提供解決方案，促進(jìn)互聯(lián)網(wǎng)乃至整個(gè)社會(huì)信用體系的發(fā)展。
3，怎樣存儲(chǔ)大數(shù)據(jù)
用一塊2tb硬盤存儲(chǔ)大量文件、數(shù)據(jù)。可以有兩種方式，一種是分表，另一種是分區(qū) 首先是分表，就像你自己所說的，可以按月分表，可以按用戶id分表等等，至于采用哪種方式分表，要看你的業(yè)務(wù)邏輯了，分表不好的地方就是查詢有時(shí)候需要跨多個(gè)表。 然后是分區(qū)，分區(qū)可以將表分離在若干不同的表空間上，用分而治之的方法來支撐無限膨脹的大表，給大表在物理一級(jí)的可管理性。將大表分割成較小的分區(qū)可以改善表的維護(hù)、備份、恢復(fù)、事務(wù)及查詢性能。分區(qū)的好處是分區(qū)的優(yōu)點(diǎn)： 1 增強(qiáng)可用性：如果表的一個(gè)分區(qū)由于系統(tǒng)故障而不能使用，表的其余好的分區(qū)仍然可以使用； 2 減少關(guān)閉時(shí)間：如果系統(tǒng)故障只影響表的一部分分區(qū)，那么只有這部分分區(qū)需要修復(fù)，故能比整個(gè)大表修復(fù)花的時(shí)間更少； 3 維護(hù)輕松：如果需要重建表，獨(dú)立管理每個(gè)分區(qū)比管理單個(gè)大表要輕松得多； 4 均衡i/o:可以把表的不同分區(qū)分配到不同的磁盤來平衡i/o改善性能； 5 改善性能：對(duì)大表的查詢、增加、修改等操作可以分解到表的不同分區(qū)來并行執(zhí)行，可使運(yùn)行速度更快； 6 分區(qū)對(duì)用戶透明，最終用戶感覺不到分區(qū)的存在。
4，大數(shù)據(jù)時(shí)代數(shù)據(jù)應(yīng)該如何存儲(chǔ)
pb或多pb級(jí)基礎(chǔ)設(shè)施與傳統(tǒng)大規(guī)模數(shù)據(jù)集之間的差別簡(jiǎn)直就像白天和黑夜的差別，就像在筆記本電腦上處理數(shù)據(jù)和在raid陣列上處理數(shù)據(jù)之間的差別。當(dāng)day在2009年加入shutterfly時(shí)，存儲(chǔ)已經(jīng)成為該公司最大的開支，并且以飛快的速度增長(zhǎng)。每n個(gè)pb的額外存儲(chǔ)意味著我們需要另一個(gè)存儲(chǔ)管理員來支持物理和邏輯基礎(chǔ)設(shè)施，day表示，面對(duì)大規(guī)模數(shù)據(jù)存儲(chǔ)，系統(tǒng)會(huì)更頻繁地出問題，任何管理超大存儲(chǔ)的人經(jīng)常都要處理硬件故障。大家都在試圖解決的根本問題是：當(dāng)你知道存儲(chǔ)的一部分將在一段時(shí)間內(nèi)出現(xiàn)問題，你應(yīng)該如何確保數(shù)據(jù)可用性，同時(shí)確保不會(huì)降低性能？raid問題解決故障的標(biāo)準(zhǔn)答案是復(fù)制，通常以raid陣列的形式。但day表示，面對(duì)龐大規(guī)模的數(shù)據(jù)時(shí)，raid解決問題的同時(shí)可能會(huì)制造更多問題。在傳統(tǒng)raid數(shù)據(jù)存儲(chǔ)方案中，每個(gè)數(shù)據(jù)的副本都被鏡像和存儲(chǔ)在陣列的不同磁盤中，以確保完整性和可用性。但這意味著每個(gè)被鏡像和存儲(chǔ)的數(shù)據(jù)將需要其本身五倍以上的存儲(chǔ)空間。隨著raid陣列中使用的磁盤越來越大（從密度和功耗的角度來看，3tb磁盤非常具有吸引力），更換故障驅(qū)動(dòng)器的時(shí)間也將變得越來越長(zhǎng)。實(shí)際上，我們使用raid并不存在任何操作問題，day表示，我們看到的是，隨著磁盤變得越來越大，當(dāng)任何組件發(fā)生故障時(shí)，我們回到一個(gè)完全冗余的系統(tǒng)的時(shí)間增加。生成校驗(yàn)是與數(shù)據(jù)集的大小成正比的。當(dāng)我們開始使用1tb和2tb的磁盤時(shí)，回到完全冗余系統(tǒng)的時(shí)間變得很長(zhǎng)?？梢哉f，這種趨勢(shì)并沒有朝著正確的方向發(fā)展。對(duì)于shutterfly而言，可靠性和可用性是非常關(guān)鍵的因素，這也是企業(yè)級(jí)存儲(chǔ)的要求。day表示，其快速膨脹的存儲(chǔ)成本使商品系統(tǒng)變得更具吸引力。當(dāng)day及其團(tuán)隊(duì)在研究潛在技術(shù)解決方案以幫助控制存儲(chǔ)成本時(shí)，他們對(duì)于一項(xiàng)叫做糾刪碼（erasure code）的技術(shù)非常感興趣。采用擦除代碼技術(shù)的下一代存儲(chǔ)里德-所羅門糾刪碼最初作為前向糾錯(cuò)碼（forward error correction, fec）用于不可靠通道的數(shù)據(jù)傳輸，例如外層空間探測(cè)的數(shù)據(jù)傳輸。這項(xiàng)技術(shù)還被用于cd和dvd來處理光盤上的故障，例如灰塵和劃痕。一些存儲(chǔ)供應(yīng)商已經(jīng)開始將糾刪碼納入他們的解決方案中。使用糾刪碼，數(shù)據(jù)可以被分解成幾塊，單塊分解數(shù)據(jù)是無用的，然后它們被分散到不同磁盤驅(qū)動(dòng)器或者服務(wù)器。在任何使用，這些數(shù)據(jù)都可以完全重組，即使有些數(shù)據(jù)塊因?yàn)榇疟P故障已經(jīng)丟失。換句話說，你不需要?jiǎng)?chuàng)建多個(gè)數(shù)據(jù)副本，單個(gè)數(shù)據(jù)就可以確保數(shù)據(jù)的完整性和可用性?；诩m刪碼的解決方案的早期供應(yīng)商之一是cleversafe公司，他們添加了位置信息來創(chuàng)建其所謂的分散編碼，讓用戶可以在不同位置（例如多個(gè)數(shù)據(jù)中心）存儲(chǔ)數(shù)據(jù)塊或者說數(shù)據(jù)片。每個(gè)數(shù)據(jù)塊就其自身而言是無用的，這樣能夠確保隱私性和安全性。因?yàn)樾畔⒎稚⒓夹g(shù)使用單一數(shù)據(jù)來確保數(shù)據(jù)完整性和可用性，而不是像raid一樣使用多個(gè)副本，公司可以節(jié)省多達(dá)90%的存儲(chǔ)成本。當(dāng)你將試圖重組數(shù)據(jù)時(shí)，你并不一定需要提供所有數(shù)據(jù)塊，cleversafe公司產(chǎn)品策略、市場(chǎng)營(yíng)銷和客戶解決方案副總裁russ kennedy表示，你生成的數(shù)據(jù)塊的數(shù)量，我們稱之為寬度，我們將重組數(shù)據(jù)需要的最低數(shù)量稱之為門檻。你生成的數(shù)據(jù)塊的數(shù)量和重組需要的數(shù)量之間的差異決定了其可靠性。同時(shí)，即使你丟失節(jié)點(diǎn)和驅(qū)動(dòng)器，你仍然能夠得到原來形式的數(shù)據(jù)。