1，大數(shù)據(jù)處理的1秒定律是什么2，如何進行大數(shù)據(jù)分析及處理3，大數(shù)據(jù)可以解決的問題有哪些4，大數(shù)據(jù)專業(yè)學(xué)什么5，大數(shù)據(jù)以后能干什么1，大數(shù)據(jù)處理的1秒定律是什么
“1秒定律”或者秒級定律，就是說對處理速度有要求，一般要在秒級時間范圍內(nèi)給出分析結(jié)果，時間太長就失去價值了。這個速度要求是大數(shù)據(jù)處理技術(shù)和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)最大的區(qū)別。
2，如何進行大數(shù)據(jù)分析及處理
這個問題有點大哦這個可不是一兩句話可以講清楚明白的數(shù)據(jù)分析本身就已經(jīng)挺復(fù)雜的了，要說大數(shù)據(jù)分析，那就更復(fù)雜了雖說只是多了一個“大”字，但是意義已經(jīng)不同了大數(shù)據(jù)是一個非常系統(tǒng)的東西，大數(shù)據(jù)包含了很多的非機構(gòu)化的數(shù)據(jù)比如說，圖片、聲音、視頻，都屬于大數(shù)據(jù)的原始數(shù)據(jù)，這些都要進行分析的那就涉及到了非機構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理工作，是非常系統(tǒng)并負(fù)責(zé)的過程所以說，大數(shù)據(jù)分析和處理，是要經(jīng)過學(xué)習(xí)，掌握了方法才能做到的
3，大數(shù)據(jù)可以解決的問題有哪些
(1)以服務(wù)器為中心的傳統(tǒng)的直接存儲技術(shù)：das技術(shù)(direct attached storage)。 das技術(shù)將通用服務(wù)器的一部分作為存儲設(shè)備，該服務(wù)器同時提供數(shù)據(jù)的輸入/輸出及應(yīng)用程序的運行。數(shù)據(jù)訪問與操作系統(tǒng)、文件系統(tǒng)和服務(wù)程序是緊密相關(guān)的。目前，這種以服務(wù)器為中心的存儲方式已不能適應(yīng)越來越高的信息存儲需求。但是，das產(chǎn)品的優(yōu)勢在于價格便宜，在那些數(shù)據(jù)容量不是很大和對數(shù)據(jù)安全性要求不是很高的部門還有一定的應(yīng)用市場。 (2)以數(shù)據(jù)為中心的網(wǎng)絡(luò)存儲技術(shù)：nas(network attached storage)和san(network area storage)。 nas技術(shù)是一種特殊的利用專門的軟、硬件構(gòu)造的專用數(shù)據(jù)存儲服務(wù)器，又有“瘦服務(wù)器”之稱。它將分布的、獨立的數(shù)據(jù)整合為大型集中化管理的數(shù)據(jù)中心。它將存儲設(shè)備與服務(wù)器分離，單獨作為一個文件服務(wù)器存在，去掉了通用服務(wù)器原有不適用的大多數(shù)計算功能，僅保留提供文件系統(tǒng)功能?？捎糜诨旌系膗nix/windows nt局域網(wǎng)，不用購置價格昂貴的多功能服務(wù)器。相比較而言，它更適用于一個需要公共文件系統(tǒng)的服務(wù)器群，如電子郵件服務(wù)器組，web服務(wù)器集群等。 (3)存儲區(qū)域網(wǎng)(storage area network，san)是一種將磁盤或磁帶與相關(guān)服務(wù)器連接起來的高速專用網(wǎng)，采用可伸縮的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，可以使用光纖通道連接，也可以使用ip協(xié)議將多臺服務(wù)器和存儲設(shè)備連接在一起。將數(shù)據(jù)存儲管理集中在相對獨立的存儲區(qū)域網(wǎng)內(nèi)，并可提供san內(nèi)部任意節(jié)點之間的多路可選擇數(shù)據(jù)交換。san獨立于lan之外，通過網(wǎng)關(guān)設(shè)備與lan連接，是一個專門的網(wǎng)絡(luò)。三個構(gòu)成要素：網(wǎng)絡(luò)互連結(jié)構(gòu)、管理軟件和存儲系統(tǒng)。
4，大數(shù)據(jù)專業(yè)學(xué)什么
大數(shù)據(jù)技術(shù)專業(yè)以統(tǒng)計學(xué)、數(shù)學(xué)、計算機為三大支撐性學(xué)科；生物、醫(yī)學(xué)、環(huán)境科學(xué)、經(jīng)濟學(xué)、社會學(xué)、管理學(xué)為應(yīng)用拓展性學(xué)科。此外還需學(xué)習(xí)數(shù)據(jù)采集、分析、處理軟件，學(xué)習(xí)數(shù)學(xué)建模軟件及計算機編程語言等。大數(shù)據(jù)技術(shù)專業(yè)屬于交叉學(xué)科：以統(tǒng)計學(xué)、數(shù)學(xué)、計算機為三大支撐性學(xué)科；生物、醫(yī)學(xué)、環(huán)境科學(xué)、經(jīng)濟學(xué)、社會學(xué)、管理學(xué)為應(yīng)用拓展性學(xué)科。此外還需學(xué)習(xí)數(shù)據(jù)采集、分析、處理軟件，學(xué)習(xí)數(shù)學(xué)建模軟件及計算機編程語言等，知識結(jié)構(gòu)是二專多能復(fù)合的跨界人才(有專業(yè)知識、有數(shù)據(jù)思維)。以中國人民大學(xué)為例：基礎(chǔ)課程：數(shù)學(xué)分析、高等代數(shù)、普通物理數(shù)學(xué)與信息科學(xué)概論、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)科學(xué)導(dǎo)論、程序設(shè)計導(dǎo)論、程序設(shè)計實踐。必修課：離散數(shù)學(xué)、概率與統(tǒng)計、算法分析與設(shè)計、數(shù)據(jù)計算智能、數(shù)據(jù)庫系統(tǒng)概論、計算機系統(tǒng)基礎(chǔ)、并行體系結(jié)構(gòu)與編程、非結(jié)構(gòu)化大數(shù)據(jù)分析。選修課：數(shù)據(jù)科學(xué)算法導(dǎo)論、數(shù)據(jù)科學(xué)專題、數(shù)據(jù)科學(xué)實踐、互聯(lián)網(wǎng)實用開發(fā)技術(shù)、抽樣技術(shù)、統(tǒng)計學(xué)習(xí)、回歸分析、隨機過程。大數(shù)據(jù)專業(yè)就業(yè)方向1、數(shù)據(jù)工程方向畢業(yè)生能夠從事基于計算機、移動互聯(lián)網(wǎng)、電子信息、電子商務(wù)技術(shù)、電子金融、電子政務(wù)、軍事等領(lǐng)域的java大數(shù)據(jù)分布式程序開發(fā)、大數(shù)據(jù)集成平臺的應(yīng)用、開發(fā)等方面的高級技術(shù)人才，可在政府機關(guān)、房地產(chǎn)、銀行、金融、移動互聯(lián)網(wǎng)等領(lǐng)域從事各類java大數(shù)據(jù)分布式開發(fā)、基于大數(shù)據(jù)平臺的程序開發(fā)、數(shù)據(jù)可視化等相關(guān)工作，也可在it領(lǐng)域從事計算機應(yīng)用工作。2、數(shù)據(jù)分析方向畢業(yè)生能夠從事基于計算機、移動互聯(lián)網(wǎng)、電子信息、電子商務(wù)技術(shù)、電子金融、電子政務(wù)、軍事等領(lǐng)域的大數(shù)據(jù)平臺運維、流計算核心技術(shù)等方面的高級技術(shù)人才，可在政府機關(guān)、房地產(chǎn)、銀行、金融、移動互聯(lián)網(wǎng)等領(lǐng)域從事各類大數(shù)據(jù)平臺運維、大數(shù)據(jù)分析、大數(shù)據(jù)挖掘等相關(guān)工作，也可在it領(lǐng)域從事計算機應(yīng)用工作。大數(shù)據(jù)專業(yè)就業(yè)方向1、數(shù)據(jù)工程方向畢業(yè)生能夠從事基于計算機、移動互聯(lián)網(wǎng)、電子信息、電子商務(wù)技術(shù)、電子金融、電子政務(wù)、軍事等領(lǐng)域的java大數(shù)據(jù)分布式程序開發(fā)、大數(shù)據(jù)集成平臺的應(yīng)用、開發(fā)等方面的高級技術(shù)人才，可在政府機關(guān)、房地產(chǎn)、銀行、金融、移動互聯(lián)網(wǎng)等領(lǐng)域從事各類java大數(shù)據(jù)分布式開發(fā)、基于大數(shù)據(jù)平臺的程序開發(fā)、數(shù)據(jù)可視化等相關(guān)工作，也可在it領(lǐng)域從事計算機應(yīng)用工作。2、數(shù)據(jù)分析方向畢業(yè)生能夠從事基于計算機、移動互聯(lián)網(wǎng)、電子信息、電子商務(wù)技術(shù)、電子金融、電子政務(wù)、軍事等領(lǐng)域的大數(shù)據(jù)平臺運維、流計算核心技術(shù)等方面的高級技術(shù)人才，可在政府機關(guān)、房地產(chǎn)、銀行、金融、移動互聯(lián)網(wǎng)等領(lǐng)域從事各類大數(shù)據(jù)平臺運維、大數(shù)據(jù)分析、大數(shù)據(jù)挖掘等相關(guān)工作，也可在it領(lǐng)域從事計算機應(yīng)用工作。
5，大數(shù)據(jù)以后能干什么
目前在國內(nèi)來說，大數(shù)據(jù)行業(yè)大概有以下幾種崗位：數(shù)據(jù)分析師，數(shù)據(jù)架構(gòu)師，數(shù)據(jù)挖據(jù)工程師，數(shù)據(jù)算法工程師，數(shù)據(jù)產(chǎn)品經(jīng)理。接下來為大家詳細(xì)介紹一下各崗位的工作內(nèi)容。1. 數(shù)據(jù)分析師。數(shù)據(jù)分析師 是數(shù)據(jù)師的一種，指的是不同行業(yè)中，專門從事行業(yè)數(shù)據(jù)搜集、整理、分析，并依據(jù)數(shù)據(jù)做出行業(yè)研究、評估和預(yù)測的專業(yè)人員。在工作中通過運用工具，提取、分析、呈現(xiàn)數(shù)據(jù)，實現(xiàn)數(shù)據(jù)的商業(yè)意義。作為一名數(shù)據(jù)分析師、至少需要熟練spss、statistic、eviews、sas、大數(shù)據(jù)魔鏡等數(shù)據(jù)分析軟件中的一門，至少能用acess等進行數(shù)據(jù)庫開發(fā)，至少掌握一門數(shù)學(xué)軟件如matalab、mathmatics進行新模型的構(gòu)建，至少掌握一門編程語言?？傊?，一個優(yōu)秀的數(shù)據(jù)分析師，應(yīng)該業(yè)務(wù)、管理、分析、工具、設(shè)計都不落下。2. 數(shù)據(jù)架構(gòu)師。數(shù)據(jù)架構(gòu)師是負(fù)責(zé)平臺的整體數(shù)據(jù)架構(gòu)設(shè)計，完成從業(yè)務(wù)模型到數(shù)據(jù)模型的設(shè)計工作 ，根據(jù)業(yè)務(wù)功能、業(yè)務(wù)模型，進行數(shù)據(jù)庫建模設(shè)計，完成各種面向業(yè)務(wù)目標(biāo)的數(shù)據(jù)分析模型的定義和應(yīng)用開發(fā)，平臺數(shù)據(jù)提取、數(shù)據(jù)挖掘及數(shù)據(jù)分析。從事數(shù)據(jù)架構(gòu)師這個職位，需要具備較強的業(yè)務(wù)理解和業(yè)務(wù)抽象能力，具備大容量事物及交易類互聯(lián)網(wǎng)平臺的數(shù)據(jù)庫模型設(shè)計能力，對調(diào)度系統(tǒng)，元數(shù)據(jù)系統(tǒng)有非常深刻的認(rèn)識和理解，熟悉常用的分析、統(tǒng)計、建模方法，熟悉數(shù)據(jù)倉庫相關(guān)技術(shù)，如 etl、報表開發(fā)，熟悉hadoop，hive等系統(tǒng)并有過實戰(zhàn)經(jīng)驗。3. 數(shù)據(jù)挖掘工程師。一般是指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中知識的工程技術(shù)專業(yè)人員。這些知識可用使企業(yè)決策智能化，自動化，從而使企業(yè)提高工作效率，減少錯誤決策的可能性，以在激烈的競爭中處于不敗之地。成為數(shù)據(jù)挖據(jù)工程師需要具備深厚的統(tǒng)計學(xué)、數(shù)學(xué)、數(shù)據(jù)挖掘理論基礎(chǔ)和相關(guān)項目經(jīng)驗，熟悉r、sas、spss等統(tǒng)計分析軟件之一，參與過完整的數(shù)據(jù)采集.整理.分析和建模工作。.具有海量數(shù)據(jù)下機器學(xué)習(xí)和算法實施相關(guān)經(jīng)驗，熟悉hadoop，hive，map-reduce等。4. 數(shù)據(jù)算法工程師。在企業(yè)中負(fù)責(zé)大數(shù)據(jù)產(chǎn)品數(shù)據(jù)挖掘算法與模型部分的設(shè)計，將業(yè)務(wù)場景與模型算法進行融合等；深入研究數(shù)據(jù)挖掘模型，參與數(shù)據(jù)挖掘模型的構(gòu)建、維護、部署和評估，支持產(chǎn)品研發(fā)團隊模型算法構(gòu)建，整合等；制定數(shù)據(jù)建模、數(shù)據(jù)處理和數(shù)據(jù)安全等架構(gòu)規(guī)范并落地實施。需要具備的知識有：扎實的數(shù)據(jù)挖掘基礎(chǔ)知識，精通機器學(xué)習(xí)、數(shù)學(xué)統(tǒng)計常用算法；熟悉大數(shù)據(jù)生態(tài)，掌握常見分布式計算框架和技術(shù)原理，如hadoop、mapreduce、yarn、storm、spark等；熟悉linux操作系統(tǒng)和shell編程，至少熟悉scala/java/python/c++/r等語言中的一種編程；熟悉大規(guī)模并行計算的基本原理并具有實現(xiàn)并行計算算法的基本能力。5. 數(shù)據(jù)產(chǎn)品經(jīng)理。數(shù)據(jù)平臺建設(shè)及維護，客戶端數(shù)據(jù)的分析，進行數(shù)據(jù)統(tǒng)計協(xié)助，數(shù)據(jù)化運營整理、提煉已有的數(shù)據(jù)報告，發(fā)現(xiàn)數(shù)據(jù)變化，進行深度專題分析，形成結(jié)論，撰寫報告；負(fù)責(zé)公司數(shù)據(jù)產(chǎn)品的設(shè)計及開發(fā)實施，并保證業(yè)務(wù)目標(biāo)的實現(xiàn)；進行數(shù)據(jù)產(chǎn)品開發(fā)。需要具備的技能有：有數(shù)據(jù)分析/數(shù)據(jù)挖掘/用戶行為研究的項目實踐經(jīng)驗 ；有扎實的分析理論基礎(chǔ)，精通1種以上統(tǒng)計分析工具軟件，如spss、sas，熟練使用excel、sql等工具； 熟悉sql/hql語句，工作經(jīng)歷有sql server/my sql等的優(yōu)先 ；熟練操作excel，ppt等辦公軟件,熟練使用spss、sas等統(tǒng)計分析軟件其中之一 ；熟悉hadoop集群架構(gòu)、有bi實踐經(jīng)驗、參與過流式計算相關(guān)經(jīng)驗者加分 ；熟悉客戶端產(chǎn)品的產(chǎn)品設(shè)計、開發(fā)流程 。