1,哪位大俠能提供一個(gè)oracle大數(shù)據(jù)存儲(chǔ)的解決辦法2,除了網(wǎng)盤之外還有什么可以存儲(chǔ)大數(shù)據(jù)3,利用mysql數(shù)據(jù)庫(kù)如何解決大數(shù)據(jù)量存儲(chǔ)問(wèn)題4,數(shù)據(jù)存儲(chǔ)海量數(shù)據(jù)存儲(chǔ)解決方案5,大數(shù)據(jù)時(shí)代數(shù)據(jù)應(yīng)該如何存儲(chǔ)1,哪位大俠能提供一個(gè)oracle大數(shù)據(jù)存儲(chǔ)的解決辦法
數(shù)據(jù)量這么大,可以考慮利用機(jī)器的性能。而不是數(shù)據(jù)庫(kù)本身了。
a)考慮多線程;
b)分多次查詢,多次插入,這樣查詢與插入可以并行。
比較麻煩的是要考慮數(shù)據(jù)庫(kù)的異?;貪L等處理,尤其是多線程中。
2,除了網(wǎng)盤之外還有什么可以存儲(chǔ)大數(shù)據(jù)
所謂的網(wǎng)盤,只不過(guò)是別人提供給你的硬盤地址而已。。。實(shí)際上還是存在硬盤里面,只不過(guò)不是你的硬盤。。。。固態(tài)硬盤了解下興宇中科在云秘盤產(chǎn)品設(shè)計(jì)之初,采用多種專業(yè)加密算法和硬件認(rèn)證機(jī)制,安全系數(shù)這塊還是很有保障滴
3,利用mysql數(shù)據(jù)庫(kù)如何解決大數(shù)據(jù)量存儲(chǔ)問(wèn)題
照你的需求來(lái)看,可以有兩種方式,一種是分表,另一種是分區(qū)
首先是分表,就像你自己所說(shuō)的,可以按月分表,可以按用戶id分表等等,至于采用哪種方式分表,要看你的業(yè)務(wù)邏輯了,分表不好的地方就是查詢有時(shí)候需要跨多個(gè)表。
然后是分區(qū),分區(qū)可以將表分離在若干不同的表空間上,用分而治之的方法來(lái)支撐無(wú)限膨脹的大表,給大表在物理一級(jí)的可管理性。將大表分割成較小的分區(qū)可以改善表的維護(hù)、備份、恢復(fù)、事務(wù)及查詢性能。分區(qū)的好處是分區(qū)的優(yōu)點(diǎn):
1 增強(qiáng)可用性:如果表的一個(gè)分區(qū)由于系統(tǒng)故障而不能使用,表的其余好的分區(qū)仍然可以使用;
2 減少關(guān)閉時(shí)間:如果系統(tǒng)故障只影響表的一部分分區(qū),那么只有這部分分區(qū)需要修復(fù),故能比整個(gè)大表修復(fù)花的時(shí)間更少;
3 維護(hù)輕松:如果需要重建表,獨(dú)立管理每個(gè)分區(qū)比管理單個(gè)大表要輕松得多;
4 均衡i/o:可以把表的不同分區(qū)分配到不同的磁盤來(lái)平衡i/o改善性能;
5 改善性能:對(duì)大表的查詢、增加、修改等操作可以分解到表的不同分區(qū)來(lái)并行執(zhí)行,可使運(yùn)行速度更快;
6 分區(qū)對(duì)用戶透明,最終用戶感覺(jué)不到分區(qū)的存在。
4,數(shù)據(jù)存儲(chǔ)海量數(shù)據(jù)存儲(chǔ)解決方案
目前市場(chǎng)上主流的海量數(shù)據(jù)存儲(chǔ)解決方案當(dāng)然是云存儲(chǔ)解決方案啦! 南京云創(chuàng)存儲(chǔ)科技有限公司的cstor云存儲(chǔ)系統(tǒng)可以幫你解決海量存儲(chǔ)的問(wèn)題! 你可以到云創(chuàng)存儲(chǔ)的官網(wǎng)上了解一下產(chǎn)品的詳細(xì)信息! 希望我的回答會(huì)對(duì)你有所幫助咯!海量數(shù)據(jù)作為一個(gè)專有名詞成為熱點(diǎn),主要應(yīng)歸功于近來(lái)年來(lái)互聯(lián)網(wǎng)、云計(jì)算、移動(dòng)和物聯(lián)網(wǎng)的迅猛發(fā)展。無(wú)所不在的移動(dòng)設(shè)備、rfid、無(wú)線傳感器每分每秒都在產(chǎn)生數(shù)據(jù)、數(shù)以億計(jì)用戶的互聯(lián)網(wǎng)服務(wù)時(shí)時(shí)刻刻在產(chǎn)生局立案的交互,要處理的數(shù)據(jù)量實(shí)在是太大、增長(zhǎng)太快了,據(jù)idc2006年(internet data center)估計(jì)全世界的數(shù)據(jù)量已超過(guò)0.18zb(1zb=2^70b),而今年這個(gè)數(shù)字已經(jīng)提升了一個(gè)數(shù)量級(jí),達(dá)到1.8zb,差不多平均全世界每個(gè)人一塊100多gb的硬盤的數(shù)據(jù)擁有量。這種增長(zhǎng)還在加速,預(yù)計(jì)2015年將達(dá)到近8zb。面對(duì)如此龐大的數(shù)據(jù)量,可想而知各個(gè)大型企業(yè)特別是以數(shù)據(jù)搜集為主的公司的數(shù)據(jù)量就可想而知了:“百度,數(shù)百個(gè)pb(1zb=2^20pb);yahoo!100pb。為了要滿足業(yè)務(wù)需求和減緩競(jìng)爭(zhēng)壓力對(duì)數(shù)據(jù)處理的實(shí)時(shí)性、有效性又提出了更高的要求,傳統(tǒng)的常規(guī)的技術(shù)手段根本無(wú)法應(yīng)對(duì)當(dāng)前的形式。 在這種情況下,技術(shù)人員紛紛研發(fā)和采用了一批新的技術(shù)、主要包括分布式緩存、基于mpp的分布式數(shù)據(jù)庫(kù)、分布式文件系統(tǒng)、各種nosql分布式存儲(chǔ)方案等。
5,大數(shù)據(jù)時(shí)代數(shù)據(jù)應(yīng)該如何存儲(chǔ)
pb或多pb級(jí)基礎(chǔ)設(shè)施與傳統(tǒng)大規(guī)模數(shù)據(jù)集之間的差別簡(jiǎn)直就像白天和黑夜的差別,就像在筆記本電腦上處理數(shù)據(jù)和在raid陣列上處理數(shù)據(jù)之間的差別。當(dāng)day在2009年加入shutterfly時(shí),存儲(chǔ)已經(jīng)成為該公司最大的開(kāi)支,并且以飛快的速度增長(zhǎng)。每n個(gè)pb的額外存儲(chǔ)意味著我們需要另一個(gè)存儲(chǔ)管理員來(lái)支持物理和邏輯基礎(chǔ)設(shè)施,day表示,面對(duì)大規(guī)模數(shù)據(jù)存儲(chǔ),系統(tǒng)會(huì)更頻繁地出問(wèn)題,任何管理超大存儲(chǔ)的人經(jīng)常都要處理硬件故障。大家都在試圖解決的根本問(wèn)題是:當(dāng)你知道存儲(chǔ)的一部分將在一段時(shí)間內(nèi)出現(xiàn)問(wèn)題,你應(yīng)該如何確保數(shù)據(jù)可用性,同時(shí)確保不會(huì)降低性能?raid問(wèn)題解決故障的標(biāo)準(zhǔn)答案是復(fù)制,通常以raid陣列的形式。但day表示,面對(duì)龐大規(guī)模的數(shù)據(jù)時(shí),raid解決問(wèn)題的同時(shí)可能會(huì)制造更多問(wèn)題。在傳統(tǒng)raid數(shù)據(jù)存儲(chǔ)方案中,每個(gè)數(shù)據(jù)的副本都被鏡像和存儲(chǔ)在陣列的不同磁盤中,以確保完整性和可用性。但這意味著每個(gè)被鏡像和存儲(chǔ)的數(shù)據(jù)將需要其本身五倍以上的存儲(chǔ)空間。隨著raid陣列中使用的磁盤越來(lái)越大(從密度和功耗的角度來(lái)看,3tb磁盤非常具有吸引力),更換故障驅(qū)動(dòng)器的時(shí)間也將變得越來(lái)越長(zhǎng)。實(shí)際上,我們使用raid并不存在任何操作問(wèn)題,day表示,我們看到的是,隨著磁盤變得越來(lái)越大,當(dāng)任何組件發(fā)生故障時(shí),我們回到一個(gè)完全冗余的系統(tǒng)的時(shí)間增加。生成校驗(yàn)是與數(shù)據(jù)集的大小成正比的。當(dāng)我們開(kāi)始使用1tb和2tb的磁盤時(shí),回到完全冗余系統(tǒng)的時(shí)間變得很長(zhǎng)??梢哉f(shuō),這種趨勢(shì)并沒(méi)有朝著正確的方向發(fā)展。對(duì)于shutterfly而言,可靠性和可用性是非常關(guān)鍵的因素,這也是企業(yè)級(jí)存儲(chǔ)的要求。day表示,其快速膨脹的存儲(chǔ)成本使商品系統(tǒng)變得更具吸引力。當(dāng)day及其團(tuán)隊(duì)在研究潛在技術(shù)解決方案以幫助控制存儲(chǔ)成本時(shí),他們對(duì)于一項(xiàng)叫做糾刪碼(erasure code)的技術(shù)非常感興趣。采用擦除代碼技術(shù)的下一代存儲(chǔ)里德-所羅門糾刪碼最初作為前向糾錯(cuò)碼(forward error correction, fec)用于不可靠通道的數(shù)據(jù)傳輸,例如外層空間探測(cè)的數(shù)據(jù)傳輸。這項(xiàng)技術(shù)還被用于cd和dvd來(lái)處理光盤上的故障,例如灰塵和劃痕。一些存儲(chǔ)供應(yīng)商已經(jīng)開(kāi)始將糾刪碼納入他們的解決方案中。使用糾刪碼,數(shù)據(jù)可以被分解成幾塊,單塊分解數(shù)據(jù)是無(wú)用的,然后它們被分散到不同磁盤驅(qū)動(dòng)器或者服務(wù)器。在任何使用,這些數(shù)據(jù)都可以完全重組,即使有些數(shù)據(jù)塊因?yàn)榇疟P故障已經(jīng)丟失。換句話說(shuō),你不需要?jiǎng)?chuàng)建多個(gè)數(shù)據(jù)副本,單個(gè)數(shù)據(jù)就可以確保數(shù)據(jù)的完整性和可用性。基于糾刪碼的解決方案的早期供應(yīng)商之一是cleversafe公司,他們添加了位置信息來(lái)創(chuàng)建其所謂的分散編碼,讓用戶可以在不同位置(例如多個(gè)數(shù)據(jù)中心)存儲(chǔ)數(shù)據(jù)塊或者說(shuō)數(shù)據(jù)片。每個(gè)數(shù)據(jù)塊就其自身而言是無(wú)用的,這樣能夠確保隱私性和安全性。因?yàn)樾畔⒎稚⒓夹g(shù)使用單一數(shù)據(jù)來(lái)確保數(shù)據(jù)完整性和可用性,而不是像raid一樣使用多個(gè)副本,公司可以節(jié)省多達(dá)90%的存儲(chǔ)成本。當(dāng)你將試圖重組數(shù)據(jù)時(shí),你并不一定需要提供所有數(shù)據(jù)塊,cleversafe公司產(chǎn)品策略、市場(chǎng)營(yíng)銷和客戶解決方案副總裁russ kennedy表示,你生成的數(shù)據(jù)塊的數(shù)量,我們稱之為寬度,我們將重組數(shù)據(jù)需要的最低數(shù)量稱之為門檻。你生成的數(shù)據(jù)塊的數(shù)量和重組需要的數(shù)量之間的差異決定了其可靠性。同時(shí),即使你丟失節(jié)點(diǎn)和驅(qū)動(dòng)器,你仍然能夠得到原來(lái)形式的數(shù)據(jù)。