一、描述性統(tǒng)計(jì)
描述性統(tǒng)計(jì)是一類統(tǒng)計(jì)方法的匯總,揭示了數(shù)據(jù)分布特性。它主要包括數(shù)據(jù)的頻數(shù)分析、數(shù)據(jù)的集中趨勢(shì)分析、數(shù)據(jù)離散程度分析、數(shù)據(jù)的分布以及一些基本的統(tǒng)計(jì)圖形。
1、缺失值填充:常用方法有剔除法、均值法、決策樹法。
2、正態(tài)性檢驗(yàn):很多統(tǒng)計(jì)方法都要求數(shù)值服從或近似服從正態(tài)分布,所以在做數(shù)據(jù)分析之前需要進(jìn)行正態(tài)性檢驗(yàn)。常用方法:非參數(shù)檢驗(yàn)的K-量檢驗(yàn)、P-P圖、Q-Q圖、W檢驗(yàn)、動(dòng)差法。
二、回歸分析
回歸分析是應(yīng)用極其廣泛的數(shù)據(jù)分析方法之一。它基于觀測(cè)數(shù)據(jù)建立變量間適當(dāng)?shù)囊蕾囮P(guān)系,以分析數(shù)據(jù)內(nèi)在規(guī)律。
1. 一元線性分析
只有一個(gè)自變量X與因變量Y有關(guān),X與Y都必須是連續(xù)型變量,因變量Y或其殘差必須服從正態(tài)分布。
2. 多元線性回歸分析
使用條件:分析多個(gè)自變量X與因變量Y的關(guān)系,X與Y都必須是連續(xù)型變量,因變量Y或其殘差必須服從正態(tài)分布。
3.Logistic回歸分析
線性回歸模型要求因變量是連續(xù)的正態(tài)分布變量,且自變量和因變量呈線性關(guān)系,而Logistic回歸模型對(duì)因變量的分布沒(méi)有要求,一般用于因變量是離散時(shí)的情況。
4. 其他回歸方法:非線性回歸、有序回歸、Probit回歸、加權(quán)回歸等。
三、方差分析
使用條件:各樣本須是相互獨(dú)立的隨機(jī)樣本;各樣本來(lái)自正態(tài)分布總體;各總體方差相等。
1. 單因素方差分析:一項(xiàng)試驗(yàn)只有一個(gè)影響因素,或者存在多個(gè)影響因素時(shí),只分析一個(gè)因素與響應(yīng)變量的關(guān)系。
2. 多因素有交互方差分析:一頊實(shí)驗(yàn)有多個(gè)影響因素,分析多個(gè)影響因素與響應(yīng)變量的關(guān)系,同時(shí)考慮多個(gè)影響因素之間的關(guān)系
3. 多因素?zé)o交互方差分析:分析多個(gè)影響因素與響應(yīng)變量的關(guān)系,但是影響因素之間沒(méi)有影響關(guān)系或忽略影響關(guān)系
4. 協(xié)方差分祈:傳統(tǒng)的方差分析存在明顯的弊端,無(wú)法控制分析中存在的某些隨機(jī)因素,降低了分析結(jié)果的準(zhǔn)確度。協(xié)方差分析主要是在排除了協(xié)變量的影響后再對(duì)修正后的主效應(yīng)進(jìn)行方差分析,是將線性回歸與方差分析結(jié)合起來(lái)的一種分析方法。
四、假設(shè)檢驗(yàn)
1. 參數(shù)檢驗(yàn)
參數(shù)檢驗(yàn)是在已知總體分布的條件下(一股要求總體服從正態(tài)分布)對(duì)一些主要的參數(shù)(如均值、百分?jǐn)?shù)、方差、相關(guān)系數(shù)等)進(jìn)行的檢驗(yàn) 。
2. 非參數(shù)檢驗(yàn)
非參數(shù)檢驗(yàn)則不考慮總體分布是否已知,常常也不是針對(duì)總體參數(shù),而是針對(duì)總體的某些一般性假設(shè)(如總體分布的位罝是否相同,總體分布是否正態(tài))進(jìn)行檢驗(yàn)。
適用情況:順序類型的數(shù)據(jù)資料,這類數(shù)據(jù)的分布形態(tài)一般是未知的。
1)雖然是連續(xù)數(shù)據(jù),但總體分布形態(tài)未知或者非正態(tài);
2)總體分布雖然正態(tài),數(shù)據(jù)也是連續(xù)類型,但樣本容量極小,如10以下;
主要方法包括:卡方檢驗(yàn)、秩和檢驗(yàn)、二項(xiàng)檢驗(yàn)、游程檢驗(yàn)、K-量檢驗(yàn)等。
定性數(shù)據(jù)(Qualitativedata):包括分類數(shù)據(jù)和順序數(shù)據(jù),是一組表示事物性質(zhì)、規(guī)定事物類別的文字表述型數(shù)據(jù),不能將其量化,只能將其定性。
定性數(shù)據(jù)說(shuō)明的是事物的品質(zhì)特征,是不能用數(shù)值表示的,通常表現(xiàn)為類別.定量數(shù)據(jù)說(shuō)明的是現(xiàn)象的數(shù)量特征,是必須用數(shù)值來(lái)表現(xiàn)的.分為離散數(shù)據(jù)(Discretedata)和連續(xù)數(shù)據(jù)().定性分析與定量分析應(yīng)該是統(tǒng)一的,相互補(bǔ)充的;定性分析是定量分析的基本前提,沒(méi)有定性的定量是一種盲目的、毫無(wú)價(jià)值的定量;定量分析使定性分析更加科學(xué)、準(zhǔn)確,它可以促使定性分析得出廣泛而深入的結(jié)論。
數(shù)據(jù)分析落實(shí)到實(shí)處,一般就是圍繞用戶漏斗展開的。也就是人們常說(shuō)的訪問(wèn)-激活-留存-交易-推薦。
這核心的5步會(huì)有不同維度的細(xì)分。
獲客:來(lái)源、渠道、關(guān)鍵字、著陸頁(yè)、地域、設(shè)備、訪問(wèn)時(shí)間、跳出率、訪問(wèn)深度、停留時(shí)間、新客量等等;
激活:DAU(日活躍用戶)、MAU(月活躍用戶)
留存:日留存率、周留存率、月留存率
交易:訂單量、訂單金額、LTV
推薦:是否傳播(k>1)
需要獲取以上數(shù)據(jù),可以通過(guò)ptengine通過(guò)漏斗細(xì)分得到可視化圖表。一般來(lái)講,同比(本周和上周)、環(huán)比(本月第一周和上月第一周)、定基比(所有數(shù)據(jù)和當(dāng)年第一周)即可獲得數(shù)據(jù)的變化情況。
以上,其實(shí)不用很專業(yè)也能做好數(shù)據(jù)分析,獲取數(shù)據(jù)并不難,難的是你能洞察數(shù)據(jù)背后的意義。
分析大數(shù)據(jù),R語(yǔ)言和Linux系統(tǒng)比較有幫助,運(yùn)用到的方法原理可以翻翻大學(xué)的統(tǒng)計(jì)學(xué),不需要完全理解,重在應(yīng)用。
分析簡(jiǎn)單數(shù)據(jù),Excel就可以了。Excel本意就是智能,功能很強(qiáng),容易上手。我沒(méi)有見過(guò)有人說(shuō)自己精通Excel的,最多是熟悉Excel。Excel的函數(shù)可以幫助你處理大部分?jǐn)?shù)據(jù)。
數(shù)據(jù)分析是指用適當(dāng)?shù)慕y(tǒng)計(jì)分析方法對(duì)收集來(lái)的大量數(shù)據(jù)進(jìn)行分析,提取有用信息和形成結(jié)論而對(duì)數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過(guò)程。這一過(guò)程也是質(zhì)量管理體系的支持過(guò)程。在實(shí)用中,數(shù)據(jù)分析可幫助人們作出判斷,以便采取適當(dāng)行動(dòng)。
數(shù)據(jù)分析的數(shù)學(xué)基礎(chǔ)在20世紀(jì)早期就已確立,但直到計(jì)算機(jī)的出現(xiàn)才使得實(shí)際操作成為可能,并使得數(shù)據(jù)分析得以推廣。數(shù)據(jù)分析是數(shù)學(xué)與計(jì)算機(jī)科學(xué)相結(jié)合的產(chǎn)物。
“啤酒與尿布”的故事產(chǎn)生于20世紀(jì)90年代的美國(guó)沃爾瑪超市中,沃爾瑪?shù)某泄芾砣藛T分析銷售數(shù)據(jù)時(shí)發(fā)現(xiàn)了一個(gè)令人難于理解的現(xiàn)象:在某些特定的情況下,“啤酒”與“尿布”兩件看上去毫無(wú)關(guān)系的商品會(huì)經(jīng)常出現(xiàn)在同一個(gè)購(gòu)物籃中,這種獨(dú)特的銷售現(xiàn)象引起了管理人員的注意,經(jīng)過(guò)后續(xù)調(diào)查發(fā)現(xiàn),這種現(xiàn)象出現(xiàn)在年輕的父親身上。
在美國(guó)有嬰兒的家庭中,一般是母親在家中照看嬰兒,年輕的父親前去超市購(gòu)買尿布。父親在購(gòu)買尿布的同時(shí),往往會(huì)順便為自己購(gòu)買啤酒,這樣就會(huì)出現(xiàn)啤酒與尿布這兩件看上去不相干的商品經(jīng)常會(huì)出現(xiàn)在同一個(gè)購(gòu)物籃的現(xiàn)象。如果這個(gè)年輕的父親在賣場(chǎng)只能買到兩件商品之一,則他很有可能會(huì)放棄購(gòu)物而到另一家商店, 直到可以一次同時(shí)買到啤酒與尿布為止。沃爾瑪發(fā)現(xiàn)了這一獨(dú)特的現(xiàn)象,開始在賣場(chǎng)嘗試將啤酒與尿布擺放在相同的區(qū)域,讓年輕的父親可以同時(shí)找到這兩件商品,并很快地完成購(gòu)物;而沃爾瑪超市也可以讓這些客戶一次購(gòu)買兩件商品、而不是一件,從而獲得了很好的商品銷售收入,這就是“啤酒與尿布” 故事的由來(lái)。
當(dāng)然“啤酒與尿布”的故事必須具有技術(shù)方面的支持。1993年美國(guó)學(xué)者Agrawal提出通過(guò)分析購(gòu)物籃中的商品集合,從而找出商品之間關(guān)聯(lián)關(guān)系的關(guān)聯(lián)算法,并根據(jù)商品之間的關(guān)系,找出客戶的購(gòu)買行為。艾格拉沃從數(shù)學(xué)及計(jì)算機(jī)算法角度提 出了商品關(guān)聯(lián)關(guān)系的計(jì)算方法——Aprior算法。沃爾瑪從上個(gè)世紀(jì) 90 年代嘗試將 Aprior 算 法引入到 POS機(jī)數(shù)據(jù)分析中,并獲得了成功,于是產(chǎn)生了“啤酒與尿布”的故事。
現(xiàn)實(shí)中的很多現(xiàn)象可以劃分為兩種可能,或者歸結(jié)為兩種狀態(tài),這兩種狀態(tài)分別用0和1表示。如果我們采用多個(gè)因素對(duì)0-1表示的某種現(xiàn)象進(jìn)行因果關(guān)系解釋,就可能應(yīng)用到logistic回歸。
1、把所有變量代如回歸方程,逐步回歸分析,必要是多用幾種篩選變量得技術(shù),同時(shí)要考慮因素得交互作用,綜合分析”
2、單因素分析的結(jié)果和多因素分析的結(jié)果不一樣是很正常的事情,因?yàn)閱我蛩胤治鐾嬖诨祀s因素的影響
3、要明白在建立多元回歸模型之前,單因素分析的主要作用是起到篩選的作用,通常選取p小于0.1或者0.2的因素進(jìn)入多元回歸模型,而多元回歸模型中偏回歸系數(shù)有意義才是真正的有意義;
借助工具,未至科技魔方是一款大數(shù)據(jù)模型平臺(tái),是一款基于服務(wù)總線與分布式云計(jì)算兩大技術(shù)架構(gòu)的一款數(shù)據(jù)分析、挖掘的工具平臺(tái),其采用分布式文件系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ),支持海量數(shù)據(jù)的處理。
采用多種的數(shù)據(jù)采集技術(shù),支持結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)的采集。通過(guò)圖形化的模型搭建工具,支持流程化的模型配置。
通過(guò)第三方插件技術(shù),很容易將其他工具及服務(wù)集成到平臺(tái)中去。數(shù)據(jù)分析研判平臺(tái)就是海量信息的采集,數(shù)據(jù)模型的搭建,數(shù)據(jù)的挖掘、分析最后形成知識(shí)服務(wù)于實(shí)戰(zhàn)、服務(wù)于決策的過(guò)程,平臺(tái)主要包括數(shù)據(jù)采集部分,模型配置部分,模型執(zhí)行部分及成果展示部分等。
原發(fā)布者:婷婷_709
醫(yī)學(xué)統(tǒng)計(jì)學(xué)各種資料比較選擇方法小結(jié)來(lái)源:桑苗的日志一、兩組或多組計(jì)量資料的比較1.兩組資料:1)大樣本資料或服從正態(tài)分布的小樣本資料(1)若方差齊性,則作成組t檢驗(yàn)(2)若方差不齊,則作t'檢驗(yàn)或用成組的Wilcoxon秩和檢驗(yàn)2)小樣本偏態(tài)分布資料,則用成組的Wilcoxon秩和檢驗(yàn)2.多組資料:1)若大樣本資料或服從正態(tài)分布,并且方差齊性,則作完全隨機(jī)的方差分析。如果方差分析的統(tǒng)計(jì)檢驗(yàn)為有統(tǒng)計(jì)學(xué)意義,則進(jìn)一步作統(tǒng)計(jì)分析:選擇合適的方法(如:LSD檢驗(yàn),Bonferroni檢驗(yàn)等)進(jìn)行兩兩比較。2)如果小樣本的偏態(tài)分布資料或方差不齊,則作KruskalWallis的統(tǒng)計(jì)檢驗(yàn)。如果KruskalWallis的統(tǒng)計(jì)檢驗(yàn)為有統(tǒng)計(jì)學(xué)意義,則進(jìn)一步作統(tǒng)計(jì)分析:選擇合適的方法(如:用成組的Wilcoxon秩和檢驗(yàn),但用Bonferroni方法校正P值等)進(jìn)行兩兩比較。二、分類資料的統(tǒng)計(jì)分析1.單樣本資料與總體比較1)二分類資料:(1)小樣本時(shí):用二項(xiàng)分布進(jìn)行確切概率法檢驗(yàn);(2)大樣本時(shí):用U檢驗(yàn)。2)多分類資料:用Pearsonc2檢驗(yàn)(又稱擬合優(yōu)度檢驗(yàn))。2.四格表資料1)n>40并且所以理論數(shù)大于5,則用Pearsonc22)n>40并且所以理論數(shù)大于1并且至少存在一個(gè)理論數(shù)<5,則用校正c2或用Fisher's確切概率法檢驗(yàn)3)n£40或存在理論數(shù)<1,則用Fisher's檢驗(yàn)3.2*C表資料的統(tǒng)計(jì)分析1)列變量為效應(yīng)指標(biāo),并且為有序多分類變量,行變量為分組變量,則行評(píng)分的CMHc2或成組的Wilcoxon秩和檢驗(yàn)2)列變量為效應(yīng)指標(biāo)并且為二分類,列變
利用數(shù)據(jù)挖掘進(jìn)行數(shù)據(jù)分析常用的方法主要有分類、回歸分析、聚類、關(guān)聯(lián)規(guī)則、特征、變化和偏差分析、Web頁(yè)挖掘等, 它們分別從不同的角度對(duì)數(shù)據(jù)進(jìn)行挖掘。
①分類。分類是找出數(shù)據(jù)庫(kù)中一組數(shù)據(jù)對(duì)象的共同特點(diǎn)并按照分類模式將其劃分為不同的類,其目的是通過(guò)分類模型,將數(shù)據(jù)庫(kù)中的數(shù)據(jù)項(xiàng)映射到某個(gè)給定的類別。它可以應(yīng)用到客戶的分類、客戶的屬性和特征分析、客戶滿意度分析、客戶的購(gòu)買趨勢(shì)預(yù)測(cè)等,如一個(gè)汽車零售商將客戶按照對(duì)汽車的喜好劃分成不同的類,這樣營(yíng)銷人員就可以將新型汽車的廣告手冊(cè)直接郵寄到有這種喜好的客戶手中,從而大大增加了商業(yè)機(jī)會(huì)。
②回歸分析。回歸分析方法反映的是事務(wù)數(shù)據(jù)庫(kù)中屬性值在時(shí)間上的特征,產(chǎn)生一個(gè)將數(shù)據(jù)項(xiàng)映射到一個(gè)實(shí)值預(yù)測(cè)變量的函數(shù),發(fā)現(xiàn)變量或?qū)傩蚤g的依賴關(guān)系,其主要研究問(wèn)題包括數(shù)據(jù)序列的趨勢(shì)特征、數(shù)據(jù)序列的預(yù)測(cè)以及數(shù)據(jù)間的相關(guān)關(guān)系等。它可以應(yīng)用到市場(chǎng)營(yíng)銷的各個(gè)方面,如客戶尋求、保持和預(yù)防客戶流失活動(dòng)、產(chǎn)品生命周期分析、銷售趨勢(shì)預(yù)測(cè)及有針對(duì)性的促銷活動(dòng)等。
③聚類。聚類分析是把一組數(shù)據(jù)按照相似性和差異性分為幾個(gè)類別,其目的是使得屬于同一類別的數(shù)據(jù)間的相似性盡可能大,不同類別中的數(shù)據(jù)間的相似性盡可能小。它可以應(yīng)用到客戶群體的分類、客戶背景分析、客戶購(gòu)買趨勢(shì)預(yù)測(cè)、市場(chǎng)的細(xì)分等。
④關(guān)聯(lián)規(guī)則。關(guān)聯(lián)規(guī)則是描述數(shù)據(jù)庫(kù)中數(shù)據(jù)項(xiàng)之間所存在的關(guān)系的規(guī)則,即根據(jù)一個(gè)事務(wù)中某些項(xiàng)的出現(xiàn)可導(dǎo)出另一些項(xiàng)在同一事務(wù)中也出現(xiàn),即隱藏在數(shù)據(jù)間的關(guān)聯(lián)或相互關(guān)系。在客戶關(guān)系管理中,通過(guò)對(duì)企業(yè)的客戶數(shù)據(jù)庫(kù)里的大量數(shù)據(jù)進(jìn)行挖掘,可以從大量的記錄中發(fā)現(xiàn)有趣的關(guān)聯(lián)關(guān)系,找出影響市場(chǎng)營(yíng)銷效果的關(guān)鍵因素,為產(chǎn)品定位、定價(jià)與定制客戶群,客戶尋求、細(xì)分與保持,市場(chǎng)營(yíng)銷與推銷,營(yíng)銷風(fēng)險(xiǎn)評(píng)估和詐騙預(yù)測(cè)等決策支持提供參考依據(jù)。
⑤特征。特征分析是從數(shù)據(jù)庫(kù)中的一組數(shù)據(jù)中提取出關(guān)于這些數(shù)據(jù)的特征式,這些特征式表達(dá)了該數(shù)據(jù)集的總體特征。如營(yíng)銷人員通過(guò)對(duì)客戶流失因素的特征提取,可以得到導(dǎo)致客戶流失的一系列原因和主要特征,利用這些特征可以有效地預(yù)防客戶的流失。
⑥變化和偏差分析。偏差包括很大一類潛在有趣的知識(shí),如分類中的反常實(shí)例,模式的例外,觀察結(jié)果對(duì)期望的偏差等,其目的是尋找觀察結(jié)果與參照量之間有意義的差別。在企業(yè)危機(jī)管理及其預(yù)警中,管理者更感興趣的是那些意外規(guī)則。意外規(guī)則的挖掘可以應(yīng)用到各種異常信息的發(fā)現(xiàn)、分析、識(shí)別、評(píng)價(jià)和預(yù)警等方面。
⑦Web頁(yè)挖掘。隨著Internet的迅速發(fā)展及Web 的全球普及, 使得Web上的信息量無(wú)比豐富,通過(guò)對(duì)Web的挖掘,可以利用Web 的海量數(shù)據(jù)進(jìn)行分析,收集政治、經(jīng)濟(jì)、政策、科技、金融、各種市場(chǎng)、競(jìng)爭(zhēng)對(duì)手、供求信息、客戶等有關(guān)的信息,集中精力分析和處理那些對(duì)企業(yè)有重大或潛在重大影響的外部環(huán)境信息和內(nèi)部經(jīng)營(yíng)信息,并根據(jù)分析結(jié)果找出企業(yè)管理過(guò)程中出現(xiàn)的各種問(wèn)題和可能引起危機(jī)的先兆,對(duì)這些信息進(jìn)行分析和處理,以便識(shí)別、分析、評(píng)價(jià)和管理危機(jī)。
聲明:本網(wǎng)站尊重并保護(hù)知識(shí)產(chǎn)權(quán),根據(jù)《信息網(wǎng)絡(luò)傳播權(quán)保護(hù)條例》,如果我們轉(zhuǎn)載的作品侵犯了您的權(quán)利,請(qǐng)?jiān)谝粋€(gè)月內(nèi)通知我們,我們會(huì)及時(shí)刪除。
蜀ICP備2020033479號(hào)-4 Copyright ? 2016 學(xué)習(xí)鳥. 頁(yè)面生成時(shí)間:3.442秒