1，大數據技術架構圖是什么樣學大數據開發(fā)都要學什么2，大數據的結構3，大數據架構師培訓 大數據架構師需要具備哪些技能4，大數據平臺架構和傳統(tǒng)架構的區(qū)別5，如何正確建立大數據結構1，大數據技術架構圖是什么樣學大數據開發(fā)都要學什么
我是用的八斗學院的項目練習的，簡單說一下他們的大數據技術架構，1、日志收集與數據存儲 2、數據預處理3、數據分析4、引擎模塊5、推薦策略算法模塊6、在線服務數據
2，大數據的結構
大數據就是互聯(lián)網發(fā)展到現今階段的一種表象或特征而已，沒有必要神話它或對它保持敬畏之心，在以云計算為代表的技術創(chuàng)新大幕的襯托下，這些原本很難收集和使用的數據開始容易被利用起來了，通過各行各業(yè)的不斷創(chuàng)新，大數據會逐步為人類創(chuàng)造更多的價值。 其次，想要系統(tǒng)的認知大數據，必須要全面而細致的分解它，我著手從三個層面來展開：第一層面是理論，理論是認知的必經途徑，也是被廣泛認同和傳播的基線。在這里從大數據的特征定義理解行業(yè)對大數據的整體描繪和定性；從對大數據價值的探討來深入解析大數據的珍貴所在；洞悉大數據的發(fā)展趨勢；從大數據隱私這個特別而重要的視角審視人和數據之間的長久博弈。第二層面是技術，技術是大數據價值體現的手段和前進的基石。在這里分別從云計算、分布式處理技術、存儲技術和感知技術的發(fā)展來說明大數據從采集、處理、存儲到形成結果的整個過程。第三層面是實踐，實踐是大數據的最終價值體現。在這里分別從互聯(lián)網的大數據，政府的大數據，企業(yè)的大數據和個人的大數據四個方面來描繪大數據已經展現的美好景象及即將實現的藍圖。
3，大數據架構師培訓 大數據架構師需要具備哪些技能
想要成為合格的大數據分析師，就需要熟悉消息中間件(kafka等)，熟悉數據中間件(mybatis等);java基礎扎實，有相關開發(fā)或者實習經驗，熟悉io、多線程、mq、數據結構與設計模式等;能夠基于linux平臺工作，熟練使用shell腳本。想要成為專業(yè)的大數據分析師高薪就業(yè)，除開以上技能之外，大數據分析師還需要精通hadoop/hive/hbase，對hadoop、hive、storm、spark等源碼有研究;對數據敏感、對新技術敏感、有數據分析能力，有數據挖掘技能;熟悉分布式、緩存、消息機制，常用的dal/orm框架和設計模式等等。除此之外扣丁學堂還會教導學員學習使用mapreduce和sparkstreaming工具進行數據計算和處理。熟悉java編程語言并能用其編寫大數據分析應用程序?；A大概有兩大塊1.是要有較強的數據庫管理系統(tǒng)的使用能力（比如你要學會oracle），以及較強的數據庫理論知識背景。2.大數據分析你要掌握概率統(tǒng)計學的知識，學會數據分析工具的使用。比如matlab，這個工具非常強大，掌握起來有些難度。但不是說你掌握了這個工具就能勝任數據分析師的工作了。你還需要，有較強的邏輯分析能力，對各種各樣的數據進行建模，然后根據統(tǒng)計分析結果進行最終判定。建議：入門的時候先從數據庫開始，因為這是數據的生存環(huán)境，大數據或者稱為海量數據都是存儲在這其中的。熟悉數據建模，這是個系統(tǒng)性很強的學科，主要是高等數學范疇內的只是，偏統(tǒng)計分析。最后是勤加練習對各種數據建模分析，當你的結論越來越靠近最優(yōu)解的時候，你的經驗也在不斷增長，那么離你的目標就很近了。這是個很有挑戰(zhàn)，也是非常復雜的工作。需要你堅持，大概三年能有小成。但前途一片光明。
4，大數據平臺架構和傳統(tǒng)架構的區(qū)別
大講臺大數據培訓為你解答：現在的大數據分析，跟傳統(tǒng)意義的分析有一個本質區(qū)別，就是傳統(tǒng)的分析是基于結構化、關系性的數據。而且往往是取一個很小的數據集，來對整個數據進行預測和判斷。但現在是大數據時代，理念已經完全改變了，現在的大數據分析，是對整個數據全集直接進行存儲和管理分析。非問答能發(fā)link我給link譬hadoop等源數據項目編程語言數據底層技術說 簡單永洪科技技術說四面其實代表部通用數據底層技術： z-suite具高性能數據析能力完全摒棄向升級(scale-up)全面支持橫向擴展(scale-out)z-suite主要通核技術支撐pb級數據： 跨粒度計算(in-databasecomputing) z-suite支持各種見匯總支持幾乎全部專業(yè)統(tǒng)計函數益于跨粒度計算技術z-suite數據析引擎找尋優(yōu)化計算案繼所銷較、昂貴計算都移數據存儲直接計算我稱庫內計算(in-database)技術減少數據移降低通訊負擔保證高性能數據析 并行計算(mpp computing) z-suite基于mpp架構商業(yè)智能平臺能夠計算布計算節(jié)點再指定節(jié)點計算結匯總輸z-suite能夠充利用各種計算存儲資源管服務器普通pc中國絡條件沒嚴苛要求作橫向擴展數據平臺z-suite能夠充發(fā)揮各節(jié)點計算能力輕松實現針tb/pb級數據析秒級響應 列存儲 (column-based) z-suite列存儲基于列存儲數據集市讀取關數據能降低讀寫銷同提高i/o 效率提高查詢性能另外列存儲能夠更壓縮數據般壓縮比5 -一0倍間數據占空間降低傳統(tǒng)存儲一/5一/一0 良數據壓縮技術節(jié)省存儲設備內存銷卻提升計算性能 內存計算 益于列存儲技術并行計算技術z-suite能夠壓縮數據并同利用節(jié)點計算能力內存容量般內存訪問速度比磁盤訪問速度要快幾百倍甚至千倍通內存計算cpu直接內存非磁盤讀取數據并數據進行計算內存計算傳統(tǒng)數據處理式種加速實現數據析關鍵應用技
5，如何正確建立大數據結構
大數據各行各業(yè)的企業(yè)都提供了潛力。正確使用這些大數據信息可能將增加商業(yè)價值，幫助您的企業(yè)從市場競爭中脫穎而出。如下是幾個企業(yè)成功應用大數據的案例： 大數據的例子 汽車制造商已經開始使用大數據來了解汽車何時需要返回到車庫進行維修。使用汽車發(fā)動機的數百個傳感器，可以為汽車制造商發(fā)送實時的數據信息，這使得制造商甚至比駕駛汽車的司機還要提前知道汽車何時會出現故障?？ㄜ囍圃焐涕_始使用大數據，基于實時交通條件和客戶的需求來改進他們的路由，從而節(jié)約燃料和時間。 零售業(yè)也開始越來越多的使用大數據，鑒于越來越多的產品均有一個rfid標簽能幫助零售商跟蹤產品，知道很少某種產品庫存缺貨，并及時向供貨商訂購新產品。沃爾瑪便是這正確利用大數據這方面的一個很好的例子。當零售商開始識別他們的客戶時，就能夠更好地建立商店，更好的滿足客戶的需求。 當然，上述這些只是幾個淺顯的例子，大數據的可能性幾乎是無止境的。不久的將來，我們將討論在大數據平臺上的最佳實踐。知道大數據能夠提供商業(yè)價值是一回事；而企業(yè)要知道如何創(chuàng)建正確的架構則又是另一回事了。 大數據結構 大數據有三個特征，使得大數據不同于現有的數據倉庫和商業(yè)智能。大數據的這三大特點是： 數據量龐大：大數據的數據量相當龐大，更多的時候大數據的數據量可以達到比數tb到pb級字節(jié)。 高速度傳遞：所有這些tb和pb字節(jié)的數據能夠實時交付，數據倉庫每天都需要應付如此高速的數據流。首先你要看發(fā)展前景，固定一個發(fā)展環(huán)境，找到一個短期合理目標，努力奮斗。當然如果在做大數據平臺之前發(fā)現社會之需，資源豐富的領域那是再好不過了。適當做些市場調查，看看市場前景，是否真的具有開發(fā)可行的價值，然后進一步分析如果去做，風險的大小，可利用的價值，客觀的回饋率等。再統(tǒng)籌綜合考量當下自己的基礎，有句話說得好，經濟基礎決定上層建筑。
調研數據結構化需求，根據你們單位的需求你們要的最主要最原始的跟蹤單位是什么，這些數據要什么樣的結構。比如跟蹤單位是客戶，要的是消費信息，地理信息，偏好信息，社會屬性等。
而對產品的定義，往往都是需求決定的，所以先問問自己或者領導們，為什么我們要做大數據平臺？確定有這個必要么？你們真的需要一個完整的大數據平臺，還是只需要一個能夠方便進行并行計算的系統(tǒng)？這一步的定位直接影響到后續(xù)工作的展開以及各種成本（人力、資金、時間），也關系到開展難度及最終收益。
做技術，尤其是沒有太多經驗從零開始做的時候，經常會為了做技術而做技術，這實際上是不可取的，所以勤智數碼大數據工程師的建議是，這一步請千萬不要任性。