測(cè)試大數(shù)據(jù)方法(大數(shù)據(jù)分析方法分哪些類(lèi))

1.大數(shù)據(jù)分析方法分哪些類(lèi)

本文主要講述數(shù)據(jù)挖掘分析領(lǐng)域中，最常用的四種數(shù)據(jù)分析方法：描述型分析、診斷型分析、預(yù)測(cè)型分析和指令型分析。

當(dāng)剛涉足數(shù)據(jù)挖掘分析領(lǐng)域的分析師被問(wèn)及，數(shù)據(jù)挖掘分析人員最重要的能力是什么時(shí)，他們給出了五花八門(mén)的答案。其實(shí)我想告訴他們的是，數(shù)據(jù)挖掘分析領(lǐng)域最重要的能力是：能夠?qū)?shù)據(jù)轉(zhuǎn)化為非專(zhuān)業(yè)人士也能夠清楚理解的有意義的見(jiàn)解。

使用一些工具來(lái)幫助大家更好的理解數(shù)據(jù)分析在挖掘數(shù)據(jù)價(jià)值方面的重要性，是十分有必要的。其中的一個(gè)工具，叫做四維分析法。

簡(jiǎn)單地來(lái)說(shuō)，分析可被劃分為4種關(guān)鍵方法。下面會(huì)詳細(xì)介紹這四種方法。

1. 描述型分析：發(fā)生了什么？最常用的四種大數(shù)據(jù)分析方法這是最常見(jiàn)的分析方法。在業(yè)務(wù)中，這種方法向數(shù)據(jù)分析師提供了重要指標(biāo)和業(yè)務(wù)的衡量方法。

例如，每月的營(yíng)收和損失賬單。數(shù)據(jù)分析師可以通過(guò)這些賬單，獲取大量的客戶(hù)數(shù)據(jù)。

了解客戶(hù)的地理信息，就是“描述型分析”方法之一。利用可視化工具，能夠有效的增強(qiáng)描述型分析所提供的信息。

2. 診斷型分析：為什么會(huì)發(fā)生？最常用的四種大數(shù)據(jù)分析方法描述性數(shù)據(jù)分析的下一步就是診斷型數(shù)據(jù)分析。通過(guò)評(píng)估描述型數(shù)據(jù)，診斷分析工具能夠讓數(shù)據(jù)分析師深入地分析數(shù)據(jù)，鉆取到數(shù)據(jù)的核心。

良好設(shè)計(jì)的BI dashboard能夠整合：按照時(shí)間序列進(jìn)行數(shù)據(jù)讀入、特征過(guò)濾和鉆取數(shù)據(jù)等功能，以便更好的分析數(shù)據(jù)。3. 預(yù)測(cè)型分析：可能發(fā)生什么？最常用的四種大數(shù)據(jù)分析方法預(yù)測(cè)型分析主要用于進(jìn)行預(yù)測(cè)。

事件未來(lái)發(fā)生的可能性、預(yù)測(cè)一個(gè)可量化的值，或者是預(yù)估事情發(fā)生的時(shí)間點(diǎn)，這些都可以通過(guò)預(yù)測(cè)模型來(lái)完成。預(yù)測(cè)模型通常會(huì)使用各種可變數(shù)據(jù)來(lái)實(shí)現(xiàn)預(yù)測(cè)。

數(shù)據(jù)成員的多樣化與預(yù)測(cè)結(jié)果密切相關(guān)。在充滿(mǎn)不確定性的環(huán)境下，預(yù)測(cè)能夠幫助做出更好的決定。

預(yù)測(cè)模型也是很多領(lǐng)域正在使用的重要方法。4. 指令型分析：需要做什么？最常用的四種大數(shù)據(jù)分析方法數(shù)據(jù)價(jià)值和復(fù)雜度分析的下一步就是指令型分析。

指令模型基于對(duì)“發(fā)生了什么”、“為什么會(huì)發(fā)生”和“可能發(fā)生什么”的分析，來(lái)幫助用戶(hù)決定應(yīng)該采取什么措施。通常情況下，指令型分析不是單獨(dú)使用的方法，而是前面的所有方法都完成之后，最后需要完成的分析方法。

例如，交通規(guī)劃分析考量了每條路線(xiàn)的距離、每條線(xiàn)路的行駛速度、以及目前的交通管制等方面因素，來(lái)幫助選擇最好的回家路線(xiàn)。結(jié)論最后需要說(shuō)明，每一種分析方法都對(duì)業(yè)務(wù)分析具有很大的幫助，同時(shí)也應(yīng)用在數(shù)據(jù)分析的各個(gè)方面。

2.軟件測(cè)試方法

第一類(lèi)測(cè)試方法是試圖驗(yàn)證軟件是“工作的”，所謂“工作的”就是指軟件的功能是按照預(yù)先的設(shè)計(jì)執(zhí)行的；而第二類(lèi)測(cè)試方法則是設(shè)法證明軟件是“不工作的”。

還有兩大類(lèi)：白盒法和黑盒法。

白盒法：你清楚程序的流程時(shí)，用不同的數(shù)據(jù)測(cè)試你程序的代碼，驗(yàn)證程序的正確性，有：條件測(cè)試，路徑測(cè)試，條件組合。。。。

白盒法用在程序開(kāi)發(fā)階段的前期。

黑盒法：主要用于程序開(kāi)發(fā)階段的后期，即程序的流程測(cè)試正確后，測(cè)試程序的結(jié)果。有什么因果法，邊緣值法等。

具體你可以買(mǎi)本軟件工程方面的書(shū)看看。

還有一下方法：

功能測(cè)試：可接受性測(cè)試：用戶(hù)界面測(cè)試：探索或開(kāi)放'型的測(cè)試：性能測(cè)試：回歸測(cè)試：強(qiáng)力測(cè)試：集成與兼容性測(cè)試：裝配/安裝/配置測(cè)試：國(guó)際化支持測(cè)試：本地化語(yǔ)言測(cè)試：

這些都是測(cè)試的方法.

3.大數(shù)據(jù)分析的技術(shù)包括哪些

與傳統(tǒng)的bai在線(xiàn)聯(lián)機(jī)分析處理OLAP不同，對(duì)大數(shù)據(jù)的深度分析主要基于大規(guī)模的機(jī)器學(xué)習(xí)技術(shù)，一般而du言，機(jī)器學(xué)習(xí)模型的訓(xùn)練過(guò)程可以歸結(jié)為最優(yōu)化定義于大規(guī)模zhi訓(xùn)練數(shù)據(jù)上的目標(biāo)函數(shù)并且通過(guò)一個(gè)循環(huán)迭代的算法實(shí)現(xiàn)dao。

1、編程語(yǔ)言：Python/R

2、版數(shù)據(jù)庫(kù)權(quán)MySQL、MongoDB、Redis等

3、數(shù)據(jù)分析工具講解、數(shù)值計(jì)算包、Pandas與數(shù)據(jù)庫(kù)。 等

4、進(jìn)階：Matplotlib、時(shí)間序列分析/算法、機(jī)器學(xué)習(xí)。 等

4.測(cè)試方法有哪些,各有什么優(yōu)缺點(diǎn)

1、恢復(fù)測(cè)試

恢復(fù)測(cè)試主要檢查系統(tǒng)的容錯(cuò)能力。當(dāng)系統(tǒng)出錯(cuò)時(shí)，能否在指定時(shí)間間隔內(nèi)修正錯(cuò)誤并重新啟動(dòng)系統(tǒng)?；謴?fù)測(cè)試首先要采用各種辦法強(qiáng)迫系統(tǒng)失敗，然后驗(yàn)證系統(tǒng)是否能盡快恢復(fù)。對(duì)于自動(dòng)恢復(fù)需驗(yàn)證重新初始化（reinitialization）、檢查點(diǎn)（checkpointing mechanisms）、數(shù)據(jù)恢復(fù)（data recovery）和重新啟動(dòng) （restart）等機(jī)制的正確性；對(duì)于人工干預(yù)的恢復(fù)系統(tǒng)，還需估測(cè)平均修復(fù)時(shí)間，確定其是否在可接受的范圍內(nèi)。

2、安全測(cè)試

安全測(cè)試檢查系統(tǒng)對(duì)非法侵入的防范能力。安全測(cè)試期間，測(cè)試人員假扮非法入侵者，采用各種辦法試圖突破防線(xiàn)。例如，①想方設(shè)法截取或破譯口令；②專(zhuān)門(mén)定做軟件破壞系統(tǒng)的保護(hù)機(jī)制；③故意導(dǎo)致系統(tǒng)失敗，企圖趁恢復(fù)之機(jī)非法進(jìn)入；④試圖通過(guò)瀏覽非保密數(shù)據(jù)，推導(dǎo)所需信息，等等。理論上講，只要有足夠的時(shí)間和資源，沒(méi)有不可進(jìn)入的系統(tǒng)。因此系統(tǒng)安全設(shè)計(jì)的準(zhǔn)則是，使非法侵入的代價(jià)超過(guò)被保護(hù)信息的價(jià)值。此時(shí)非法侵入者已無(wú)利可圖。

3、強(qiáng)度測(cè)試

強(qiáng)度測(cè)試檢查程序?qū)Ξ惓Ｇ闆r的抵抗能力。強(qiáng)度測(cè)試總是迫使系統(tǒng)在異常的資源配置下運(yùn)行。例如，①當(dāng)中斷的正常頻率為每秒一至兩個(gè)時(shí)，運(yùn)行每秒產(chǎn)生十個(gè)中斷的測(cè)試用例；②定量地增長(zhǎng)數(shù)據(jù)輸入率，檢查輸入子功能的反映能力；③運(yùn)行需要最大存儲(chǔ)空間（或其他資源）的測(cè)試用例；④運(yùn)行可能導(dǎo)致虛存操作系統(tǒng)崩潰或磁盤(pán)數(shù)據(jù)劇烈抖動(dòng)的測(cè)試用例，等等。

4、性能測(cè)試

對(duì)于那些實(shí)時(shí)和嵌入式系統(tǒng)，軟件部分即使?jié)M足功能要求，也未必能夠滿(mǎn)足性能要求，雖然從單元測(cè)試起，每一測(cè)試步驟都包含性能測(cè)試，但只有當(dāng)系統(tǒng)真正集成之后，在真實(shí)環(huán)境中才能全面、可靠地測(cè)試運(yùn)行性能系統(tǒng)性能測(cè)試是為了完成這一任務(wù)。性能測(cè)試有時(shí)與強(qiáng)度測(cè)試相結(jié)合，經(jīng)常需要其他軟硬件的配套支持。

5.怎樣提升自己的大數(shù)據(jù)測(cè)試經(jīng)驗(yàn)

業(yè)務(wù)篇

1.業(yè)務(wù)為核心，數(shù)據(jù)為王

· 了解整個(gè)產(chǎn)業(yè)鏈的結(jié)構(gòu)

· 制定好業(yè)務(wù)的發(fā)展規(guī)劃

· 了解衡量的核心指標(biāo)

有了數(shù)據(jù)必須和業(yè)務(wù)結(jié)合才有效果。

需要懂業(yè)務(wù)的整體概況，摸清楚所在產(chǎn)業(yè)鏈的整個(gè)結(jié)構(gòu)，對(duì)行業(yè)的上游和下游的經(jīng)營(yíng)情況有大致的了解。然后根據(jù)業(yè)務(wù)當(dāng)前的需要，指定發(fā)展計(jì)劃，從而歸類(lèi)出需要整理的數(shù)據(jù)。最后一步詳細(xì)的列出數(shù)據(jù)核心指標(biāo)（KPI），并且對(duì)幾個(gè)核心指標(biāo)進(jìn)行更細(xì)致的拆解，當(dāng)然具體結(jié)合你的業(yè)務(wù)屬性來(lái)處理，找出那些對(duì)指標(biāo)影響幅度較大的影響因子。前期資料的收集以及業(yè)務(wù)現(xiàn)況的全面掌握非常關(guān)鍵。

2.思考指標(biāo)現(xiàn)狀，發(fā)現(xiàn)多維規(guī)律

· 熟悉產(chǎn)品框架，全面定義每個(gè)指標(biāo)的運(yùn)營(yíng)現(xiàn)狀對(duì)

· 比同行業(yè)指標(biāo)，挖掘隱藏的提升空間

· 拆解關(guān)鍵指標(biāo)，合理設(shè)置運(yùn)營(yíng)方法來(lái)觀(guān)察效果

· 爭(zhēng)對(duì)核心用戶(hù)，單獨(dú)進(jìn)行產(chǎn)品用研與需求挖掘

業(yè)務(wù)的分析大多是定性的，需要培養(yǎng)一種客觀(guān)的感覺(jué)意識(shí)。定性的分析則需要借助技術(shù)、工具、機(jī)器。而感覺(jué)的培養(yǎng)，由于每個(gè)人的思維、感知都不同，只能把控大體的方向，很多數(shù)據(jù)元素之間的關(guān)系還是需要通過(guò)數(shù)據(jù)可視化技術(shù)來(lái)實(shí)現(xiàn)。

3.規(guī)律驗(yàn)證，經(jīng)驗(yàn)總結(jié)

發(fā)現(xiàn)了規(guī)律之后不能立刻上線(xiàn)，需要在測(cè)試機(jī)上對(duì)模型進(jìn)行驗(yàn)證。

技能篇

1.Excel是否精鉆？

除了常用的Excel函數(shù)（sum、average、if、countifs、sumifs、offset、match、index等）之外，Excel圖表（餅圖、線(xiàn)圖、柱形圖、雷達(dá)圖等）和簡(jiǎn)單分析技能也是經(jīng)常用的，可以幫助你快速分析業(yè)務(wù)走勢(shì)和異常情況；另外，Excel里面的函數(shù)結(jié)合透視表以及VBA功能是完善報(bào)表開(kāi)發(fā)的利器，讓你一鍵輕松搞定報(bào)表。

2.你需要更懂?dāng)?shù)據(jù)庫(kù)

常用的數(shù)據(jù)庫(kù)如MySQL,Sql Server、Oracle、DB2、MongoDB等；除去SQL語(yǔ)句的熟練使用，對(duì)于數(shù)據(jù)庫(kù)的存儲(chǔ)讀取過(guò)程也要熟練掌握。在對(duì)于大數(shù)據(jù)量處理時(shí)，如何想辦法加快程序的運(yùn)行速度、減少網(wǎng)絡(luò)流量、提高數(shù)據(jù)庫(kù)的安全性是非常有必要的。

3.掌握數(shù)據(jù)整理、可視化和報(bào)表制作

數(shù)據(jù)整理，是將原始數(shù)據(jù)轉(zhuǎn)換成方便實(shí)用的格式，實(shí)用工具有Excel、R、Python等工具。數(shù)據(jù)可視化，是創(chuàng)建和研究數(shù)據(jù)的視覺(jué)表現(xiàn)，方便業(yè)務(wù)方快速分析數(shù)據(jù)并定位具體問(wèn)題，實(shí)用工具有Tableau、FineBI、Qlikview.

如果常用excel，那需要用PPT展示，這項(xiàng)技能也需要琢磨透。如果用tableau、FineBI之類(lèi)的工具做數(shù)據(jù)可視化，F(xiàn)ineBI有推送查看功能，也就是在企業(yè)上下建立一套系統(tǒng)，通過(guò)權(quán)限的分配讓不同的人看到權(quán)限范圍內(nèi)的報(bào)表。

4.多學(xué)幾項(xiàng)技能

大多數(shù)據(jù)分析師都是從計(jì)算機(jī)、數(shù)學(xué)、統(tǒng)計(jì)這些專(zhuān)業(yè)而來(lái)的，也就意味著數(shù)學(xué)知識(shí)是重要基礎(chǔ)。尤其是統(tǒng)計(jì)學(xué)，更是數(shù)據(jù)分析師的基本功，從數(shù)據(jù)采集、抽樣到具體分析時(shí)的驗(yàn)證探索和預(yù)測(cè)都要用到統(tǒng)計(jì)學(xué)。

現(xiàn)在社會(huì)心理學(xué)也逐漸囊括到數(shù)據(jù)分析師的能力體系中來(lái)了，尤其是從事互聯(lián)網(wǎng)產(chǎn)品運(yùn)營(yíng)的同學(xué)，需要了解用戶(hù)的行為動(dòng)向，分析背后的動(dòng)機(jī)。把握了整體方向后，數(shù)據(jù)分析的過(guò)程也就更容易。

6.常見(jiàn)的測(cè)試用例設(shè)計(jì)方法都有哪些

1. 等價(jià)類(lèi)劃分

常見(jiàn)的軟件測(cè)試面試題劃分等價(jià)類(lèi)： 等價(jià)類(lèi)是指某個(gè)輸入域的子集合.在該子集合中，各個(gè)輸入數(shù)據(jù)對(duì)于揭露程序中的錯(cuò)誤都是等效的.并合理地假定：測(cè)試某等價(jià)類(lèi)的代表值就等于對(duì)這一類(lèi)其它值的測(cè)試.因此，可以把全部輸入數(shù)據(jù)合理劃分為若干等價(jià)類(lèi)，在每一個(gè)等價(jià)類(lèi)中取一個(gè)數(shù)據(jù)作為測(cè)試的輸入條件，就可以用少量代表性的測(cè)試數(shù)據(jù).取得較好的測(cè)試結(jié)果.等價(jià)類(lèi)劃分可有兩種不同的情況：有效等價(jià)類(lèi)和無(wú)效等價(jià)類(lèi).

2. 邊界值分析法

邊界值分析方法是對(duì)等價(jià)類(lèi)劃分方法的補(bǔ)充。測(cè)試工作經(jīng)驗(yàn)告訴我，大量的錯(cuò)誤是發(fā)生在輸入或輸出范圍的邊界上，而不是發(fā)生在輸入輸出范圍的內(nèi)部.因此針對(duì)各種邊界情況設(shè)計(jì)測(cè)試用例，可以查出更多的錯(cuò)誤.

使用邊界值分析方法設(shè)計(jì)測(cè)試用例，首先應(yīng)確定邊界情況.通常輸入和輸出等價(jià)類(lèi)的邊界，就是應(yīng)著重測(cè)試的邊界情況.應(yīng)當(dāng)選取正好等于，剛剛大于或剛剛小于邊界的值作為測(cè)試數(shù)據(jù)，而不是選取等價(jià)類(lèi)中的典型值或任意值作為測(cè)試數(shù)據(jù).

3. 錯(cuò)誤推測(cè)法

基于經(jīng)驗(yàn)和直覺(jué)推測(cè)程序中所有可能存在的各種錯(cuò)誤， 從而有針對(duì)性的設(shè)計(jì)測(cè)試用例的方法.

錯(cuò)誤推測(cè)方法的基本思想： 列舉出程序中所有可能有的錯(cuò)誤和容易發(fā)生錯(cuò)誤的特殊情況，根據(jù)他們選擇測(cè)試用例. 例如， 在單元測(cè)試時(shí)曾列出的許多在模塊中常見(jiàn)的錯(cuò)誤. 以前產(chǎn)品測(cè)試中曾經(jīng)發(fā)現(xiàn)的錯(cuò)誤等， 這些就是經(jīng)驗(yàn)的總結(jié)。還有， 輸入數(shù)據(jù)和輸出數(shù)據(jù)為0的情況。輸入表格為空格或輸入表格只有一行. 這些都是容易發(fā)生錯(cuò)誤的情況?？蛇x擇這些情況下的例子作為測(cè)試用例.

4. 因果圖方法

前面介紹的等價(jià)類(lèi)劃分方法和邊界值分析方法，都是著重考慮輸入條件，但未考慮輸入條件之間的聯(lián)系， 相互組合等. 考慮輸入條件之間的相互組合，可能會(huì)產(chǎn)生一些新的情況. 但要檢查輸入條件的組合不是一件容易的事情， 即使把所有輸入條件劃分成等價(jià)類(lèi)，他們之間的組合情況也相當(dāng)多. 因此必須考慮采用一種適合于描述對(duì)于多種條件的組合，相應(yīng)產(chǎn)生多個(gè)動(dòng)作的形式來(lái)考慮設(shè)計(jì)測(cè)試用例. 這就需要利用因果圖（邏輯模型）. 因果圖方法最終生成的就是判定表. 它適合于檢查程序輸入條件的各種組合情況.

5. 正交表分析法

有時(shí)候，可能因?yàn)榇罅康膮?shù)的組合而引起測(cè)試用例數(shù)量上的激增，同時(shí)，這些測(cè)試用例并沒(méi)有明顯的優(yōu)先級(jí)上的差距，而測(cè)試人員又無(wú)法完成這么多數(shù)量的測(cè)試，就可以通過(guò)正交表來(lái)進(jìn)行縮減一些用例，從而達(dá)到盡量少的用例覆蓋盡量大的范圍的可能性。

6. 場(chǎng)景分析方法

指根據(jù)用戶(hù)場(chǎng)景來(lái)模擬用戶(hù)的操作步驟，這個(gè)比較類(lèi)似因果圖，但是可能執(zhí)行的深度和可行性更好。

白盒測(cè)試用例設(shè)計(jì)的關(guān)鍵是以較少的用例覆蓋盡可能多的內(nèi)部程序邏輯結(jié)果

黑盒法用例設(shè)計(jì)的關(guān)鍵同樣也是以較少的用例覆蓋模塊輸出和輸入接口。不可能做到完全測(cè)試，以最少的用例在合理的時(shí)間內(nèi)發(fā)現(xiàn)最多的問(wèn)題

詳細(xì)的描述一個(gè)測(cè)試活動(dòng)完整的過(guò)程。1. 項(xiàng)目經(jīng)理通過(guò)和客戶(hù)的交流，完成需求文檔，由開(kāi)發(fā)人員和測(cè)試人員共同完成需求文檔的評(píng)審，評(píng)審的內(nèi)容包括：需求描述不清楚的地方和可能有明顯沖突或者無(wú)法實(shí)現(xiàn)的功

7.常用的軟件測(cè)試方法有哪些

軟件測(cè)試的方法根據(jù)軟件工程的組織和實(shí)現(xiàn)方式，有很大差別，有些是比較技術(shù)化的方法，有些則是工程方法，主要分為： 黑盒測(cè)試方法群：等價(jià)類(lèi)劃分、邊界值、因果圖、基路徑法、專(zhuān)家測(cè)試法、smoking、場(chǎng)景測(cè)試等 白盒測(cè)試方法群：同行評(píng)審、需求審查、代碼審查、接口測(cè)試（調(diào)用測(cè)試和返回測(cè)試，需要結(jié)合等價(jià)類(lèi)和因果圖方法）等。

當(dāng)在單元層面黑盒而在集成層面白盒時(shí)，基本上兩類(lèi)方法就會(huì)有結(jié)合了，就會(huì)出現(xiàn)習(xí)慣上說(shuō)的灰盒測(cè)試（說(shuō)實(shí)話(huà)，不做到純產(chǎn)品級(jí)開(kāi)發(fā)，基本上都是用的灰盒測(cè)試）。

8.大數(shù)據(jù)分析的技術(shù)有哪些

簡(jiǎn)單說(shuō)有三大核心技術(shù)：拿數(shù)據(jù)，算數(shù)據(jù)，賣(mài)數(shù)據(jù)。

首先做為大數(shù)據(jù)，拿不到大量數(shù)據(jù)都白扯?，F(xiàn)在由于機(jī)器學(xué)習(xí)的興起，以及萬(wàn)金油算法的崛起，導(dǎo)致算法地位下降，數(shù)據(jù)地位提高了。舉個(gè)通俗的例子，就好比由于教育的發(fā)展，導(dǎo)致個(gè)人智力重要性降低，教育背景變重要了，因?yàn)橐话闳税礃?biāo)準(zhǔn)流程讀個(gè)書(shū)，就能比牛頓懂得多了。谷歌就說(shuō)：拿牛逼的數(shù)據(jù)喂給一個(gè)一般的算法，很多情況下好于拿傻傻的數(shù)據(jù)喂給牛逼的算法。而且知不知道弄個(gè)牛逼算法有多困難？一般人連這個(gè)困難度都搞不清楚好不好……拿數(shù)據(jù)很重要，巧婦難為無(wú)米之炊呀！所以為什么好多公司要燒錢(qián)搶入口，搶用戶(hù)，是為了爭(zhēng)奪數(shù)據(jù)源呀！不過(guò)運(yùn)營(yíng)，和產(chǎn)品更關(guān)注這個(gè)，我是程序員，我不管……

其次就是算數(shù)據(jù)，如果數(shù)據(jù)拿到直接就有價(jià)值地話(huà)，那也就不需要公司了，政府直接賺外快就好了。蘋(píng)果落地都能看到，人家牛頓能整個(gè)萬(wàn)有引力，我就只能撿來(lái)吃掉，差距呀……所以數(shù)據(jù)在那里擺著，能挖出啥就各憑本事了。算數(shù)據(jù)就需要計(jì)算平臺(tái)了，數(shù)據(jù)怎么存（HDFS, S3, HBase, Cassandra），怎么算（Hadoop, Spark）就靠咱們程序猿了……

再次就是賣(mài)得出去才能變現(xiàn)，否則就是搞公益了，比如《疑犯追蹤》里面的李四和大錘他們……見(jiàn)人所未見(jiàn)，預(yù)測(cè)未來(lái)并趨利避害才是智能的終極目標(biāo)以及存在意義，對(duì)吧？這個(gè)得靠大家一塊兒琢磨。

其實(shí)我覺(jué)得最后那個(gè)才是“核心技術(shù)”，什么Spark,Storm,Deep-Learning，都是第二梯隊(duì)的……當(dāng)然，沒(méi)有強(qiáng)大的算力做支撐，智能應(yīng)該也無(wú)從說(shuō)起吧。

NoSQL，分布式計(jì)算，機(jī)器學(xué)習(xí)，還有新興的實(shí)時(shí)流處理，可能還有別的。

數(shù)據(jù)采集，數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)清洗，數(shù)據(jù)挖掘，數(shù)據(jù)可視化。數(shù)據(jù)采集有硬件采集，如OBD，有軟件采集，如滴滴，淘寶。數(shù)據(jù)存儲(chǔ)就包括NOSQL,hadoop等等。數(shù)據(jù)清洗包括語(yǔ)議分析，流媒體格式化等等。數(shù)據(jù)挖掘包括關(guān)聯(lián)分析，相似度分析，距離分析，聚類(lèi)分析等等。數(shù)據(jù)可視化就是WEB的了。