(1)考察測驗的內(nèi)容效度,因為有些測驗對所測內(nèi)容或行為范圍的定義或解釋類似于理論構想的解釋,所以內(nèi)容效度高實質(zhì)上也說明結構效度高。
(2)計算測驗的同質(zhì)性信度的方法來檢測結構效度。若有證據(jù)表明測驗不同質(zhì),則可以斷定該測驗結構效度不高。
(3)利用相容效度法,考察新編制的測驗與某個已知的能有效測量相同特質(zhì)的測驗之間的相關。若兩者相關較高,則說明新測驗有較高的效度。
(4)利用區(qū)分效度法,考察新編測驗與某個已知的能有效測量不同的特質(zhì)的舊測驗間的相關。若兩者相關較高,表明測到了其他心理特質(zhì),則新測驗效度不高。
(5)對一組測驗進行因素分析,找出影響測驗的共同因素,每個測驗在共同因素上的負荷量(即測驗與各因素的相關)就是測驗的因素效度,測驗分數(shù)總變異中來自有關因素的比例就是該測驗結構效度的指標。
(6)綜合應用相容效度法和區(qū)分效度法,若用多種極不相同的方法測量同一種特質(zhì)相關很高,或用極為相似的方法測量不同特質(zhì)相關很低,則說明測量效度很高。若有多種特質(zhì)都接受了多種方法的測量,就可以分別計算出任意兩種方法測量同一種特質(zhì)的相關和測量不同特質(zhì)的相關,以及任意兩種特質(zhì)接受同一方法和不同方法的相關。 (1)分析被試答題的過程。若有證據(jù)表明某一題的作答除了反映所要測的特質(zhì)外,還反映其他因素的影響,則說明該題沒有較好地體現(xiàn)理論構想,該題的存在會降低結構效度。
(2)根據(jù)所要預測的效標的性質(zhì)和種類來推斷結構效度,有兩種做法:其一,根據(jù)效標把人分為兩類,考察其得分的差異。若兩組人得分差異顯著,則說明該測驗有效,具有較高的結構效度。其二,根據(jù)測驗得分把人分成高分組和低分組,考察這兩組人在所測特質(zhì)方面是否有差異。若兩組人在所測特質(zhì)方面差異顯著,則說明該測驗有效,具有較高的結構效度。總結
效度分析有多種方法,其測量結果反映效度的不同方面。常用于調(diào)查問卷效度分析的方法主要有以下幾種。
單項與總和相關效度分析
表面效度(Face Validity)。也稱為內(nèi)容效度或邏輯效度,指的是測量的內(nèi)容與測量目標之間是否適合,也可以說是指測量所選擇的項目是否“看起來”符合測量的目的和要求。主要依據(jù)調(diào)查設計人員的主觀判斷。
這種方法用于測量量表的內(nèi)容效度。內(nèi)容效度又稱表面效度或邏輯效度,它是指所設計的題項能否代表所要測量的內(nèi)容或主題。對內(nèi)容效度常采用邏輯分析與統(tǒng)計分析相結合的方法進行評價。邏輯分析一般由研究者或?qū)<以u判所選題項是否“看上去”符合測量的目的和要求。統(tǒng)計分析主要采用單項與總和相關分析法獲得評價結果,即計算每個題項得分與題項總分的相關系數(shù),根據(jù)相關是否顯著判斷是否有效。若量表中有反意題項,應將其逆向處理后再計算總分。
準則效度分析
準則效度(Criterion Validity)。又稱為效標效度或預測效度。準則效度是指量表所得到的數(shù)據(jù)和其他被選擇的變量(準則變量)的值相比是否有意義。根據(jù)時間跨度的不同,準則效度可分為同時效度和預測效度。準則效度分析是根據(jù)已經(jīng)得到確定的某種理論,選擇一種指標或測量工具作為準則(效標),分析問卷題項與準則的聯(lián)系,若二者相關顯著,或者問卷題項對準則的不同取值、特性表現(xiàn)出顯著差異,則為有效的題項。評價準則效度的方法是相關分析或差異顯著性檢驗。在調(diào)查問卷的效度分析中,選擇一個合適的準則往往十分困難,使這種方法的應用受到一定限制。
結構效度分析
結構效度(Construct Validity)。是指測量結果體現(xiàn)出來的某種結構與測值之間的對應程度。結構效度分析所采用的方法是因子分析。最關心的問題是:量表實際測量的是哪些特征?在評價建構效度時,調(diào)研人員要試圖解釋“量表為什么有效”這一理論問題以及考慮從這一理論問題中能得出什么推論。結構效度包括同質(zhì)效度、異質(zhì)效度和語意邏輯效度。有的學者認為,效度分析最理想的方法是利用因子分析測量量表或整個問卷的結構效度。因子分析的主要功能是從量表全部變量(題項)中提取一些公因子,各公因子分別與某一群特定變量高度關聯(lián),這些公因子即代表了量表的基本結構。通過因子分析可以考察問卷是否能夠測量出研究者設計問卷時假設的某種結構。在因子分析的結果中,用于評價結構效度的主要指標有累積貢獻率、共同度和因子負荷。累積貢獻率反映公因子對量表或問卷的累積有效程度,共同度反映由公因子解釋原變量的有效程度,因子負荷反映原變量與某個公因子的相關程度。
信度分析也稱為可靠性分析,用于測量樣本回答結果是否可靠,即樣本有沒有真實作答量表類題項。
比如說,在對同一對象進行測量,多次測量結果都很接近,就會認為這個結果是可信的,真實的,也就是信度高。如果每次測量的結果都有很大的差異,則說明信度較低。
衡量信度的方法有很多種,常用的信度系數(shù)包括:克隆巴赫α系數(shù)、折半系數(shù)、重測信度,可在spssau中進行分析。
效度分析,簡單來說就是問卷設計的有效性、準確程度,用于測量題項設計是否合理。
效度又可分為內(nèi)容效度、結構效度和效標效度。
內(nèi)容效度,通常是以文字來說明問卷的有效性。如通過參考文獻,或者權威來源說明問卷的權威性和有效性。還有就是通過對問卷前測并結合結果進行題項的修正等工作來充分說明問卷的有效性。
結構效度,指測量題項與測量維度之間的對應關系。測量方法有兩種,一種是探索性因子分析,另外一種是驗證性因子分析。其中,探索性因子分析是當前使用最為廣泛的結構效度測量方法,SPSSAU提供此兩種分析方法。
效標效度,如果以前有一份權威且標準的量表數(shù)據(jù),現(xiàn)在依舊使用該量表進行研究,并且收集回來一份數(shù)據(jù)。以前權威標準數(shù)據(jù)作為標準,當前數(shù)據(jù)與前一份數(shù)據(jù)之間進行相關分析,如果說相關系數(shù)值較高,則說明效標效度良好。但在實際分析中,效標效度很少使用。
相信你也知道,效度是指,測量工具能確切測得其所欲測量的特質(zhì)之程度,它的測定大體可以分為內(nèi)容效度(表面效度)、準則效度(效標效度)和建構效度三種。
例如,你除了手頭上的量表,還同時用了其他的測量方法(methods)測量量表中的特質(zhì)(traits),那麼,你可藉建構多重方法多重特質(zhì)矩陣(Multitrait-multimethod matrix)以檢測其效度,其中所用的統(tǒng)計技術只需相關系數(shù)(Relation Coefficient)就可以了。
又例如:你手頭上的量表有一定的邏輯結構,你想從量表大堆題目(items)中抽出有用的因子或元素,或者要驗證量表題目的歸類是否與量表本身的結構相符,以檢測其建構效度,那麼,可透過因子分析(Factor Analysis)技術來進行。
就以這個因子分析的統(tǒng)計過程來論,它看似簡單,把題目送進SPSS執(zhí)行,再轉(zhuǎn)軸,之后系統(tǒng)自然會跑出一些因子負荷出來;但其間選用哪一種抽取因子方法、因子數(shù)目的判斷、轉(zhuǎn)軸與否及轉(zhuǎn)軸方法的選用、因素的解釋與命名等等,須視乎你量表本身的邏輯以及背后的理論基礎。
這不是三言兩語能說清的,建議你到圖書館找本書來看看。至於SPSS的實務操作,應該不太難,網(wǎng)上也有一大堆教程,下面這個是最常見,你不妨看看。
最后,建議你先做信度分析,信度是效度的必要條件,在信度低的情況下,效度不可能高。
測評信效度主要還是看常模。
解決方法:1、測評與選拔的可靠性分析 在人員測評與選拔中,結果的可靠性是由測評信度來鑒定,所謂信度是指人員測評與選拔結果的準確性或一致性程度。按照衡量測評信度程度的方法不同,信度可分為再測信度、復本信度、內(nèi)在一致性信度和評分者信度。
(1)再測信度。指以同樣的測評與選拔工具,按照同樣的方法,對于相同的對象再次進行測評與選拔,所得先后結果的一致性程度。
再測信度的兩次測評使用的是同一個測評工具,同一種測評方式,但較難把握的是兩次測評間隔的時間長短。時間間隔過長,被測者特征將隨時間的增加而發(fā)展變化,由此計算的穩(wěn)定系數(shù)將失去意義;若時間間隔過短,又可能產(chǎn)生記憶與練習效應,這也將影響穩(wěn)定系數(shù)。
一般來說,時間間隔不應是固定不變的,不同性質(zhì)的人時間間隔應有區(qū)別,通常為1至3個月之間。在進行測評結果報告時,應報告兩次測評的間隔時間,以及在此期間內(nèi)被測者的相關經(jīng)歷。
(2)復本信度。指測評與選拔結果與另一個等值測評與選拔結果的一致性程度。
所謂等值,是指在測評內(nèi)容、效度、要求、形式上都與原測評一樣,其中一個測評可以看作是另一個測評的近似復寫,即復本。如果兩個復本測評相距一段時間分兩次實施,則在鑒定復本信度的同時還可鑒定再測信度,可見它應用范圍的廣泛。
鑒定復本信度,首先要編制等值的復本。編制嚴格平行的復本難度較大,這也是制約復本信度的主要因素。
此外,復本信度雖能較好地克服再測信度的練習、記憶效應,但原測評中的一些技能技巧也會產(chǎn)生遷移效應。(3)內(nèi)在一致性信度。
指所測素質(zhì)相同的各測評項目分數(shù)間的一致性程度。若被測的第一個項目的分數(shù)高于他人,在第二個項目的分數(shù)還高于其他人,在第三個項目的分數(shù)仍高于他人……且這些測評項目所測評的是同一素質(zhì),那么有理由認為測評與選拔結果較可靠。
再測信度與復本信度都需要組織兩次測評,而內(nèi)在一致性信度只需要進行一次測評,增加了人員測評的可操作性,同時也為實際工作帶來了極大的方便。 (4)評分者信度。
指多個測評者給同一組被測樣組進行評分的一致性程度。測評與選拔結果的差異程度來自兩方面:一是被測評者自身,二是被測評者及其測評。
信度主要是對后者的度量,測評者及其測評的無關差異越小,測評與選拔結果就越可靠。測評者的評分是引起主觀性測評結果差異的主要原因。
客觀性測評是利用計算機評分,不受主觀因素影響,不存在評分誤差。 2、測評與選拔的有效性分析 上面我們對測評信度進行了簡要描述,目的是提高測評的可信度。
測評的有效性也即測評效度是人才測評與選拔質(zhì)量檢驗的重要內(nèi)容,尤其是對測評選拔反饋有重要的指導和參考修正價值。效度的具體內(nèi)容主要包含以下幾個方面: (1)內(nèi)容效度。
是指實際測評到的內(nèi)容與期望測評的內(nèi)容的一致性程度。內(nèi)容效度在實際操作中的鑒定主要采用定性分析的方法,有藍圖對照分析法與專家比較判斷法。
所謂的藍圖對照法實際上就是將測評內(nèi)容與設計藍圖對照,做出分析判斷。專家比較判斷法是由一組獨立的專家組成專家評定組,對測評量表內(nèi)容取樣的充分性、必要性、適合性進行評定,對實際測評到的內(nèi)容與所要測素質(zhì)特征的符合程度做出判斷。
(2)結構效度。又稱作構想效度、構思效度、構建效度等。
在測評實踐中,有些指標我們是不能直接測評得到答案的,例如智力、動機、態(tài)度、品德、善良、誠實等抽象概念,這時候我們只能借助于具體的行為測評來推斷。把抽象素質(zhì)構建成具體行為特征,是否抓住了該素質(zhì)的本質(zhì)特征進行構建是最關鍵的,這就是結構效度問題。
它表明了在多大程度上,實際的測評結果能夠被看作是所要測評的素質(zhì)在結構上的替代物。 不難看出,結構效度的判斷是一個難點。
在實際操作中,這里也是最復雜的一個環(huán)節(jié)之一。構建一個素質(zhì)結構模型是非常必要的,包括項目、指標、權重、標度等。
然后,根據(jù)事實材料評判結構效度。就是根據(jù)實際的測評結果,結合專家小組的意見和邏輯分析等方法,評判結構效度。
這一點對于測評結果的反饋修正具有重要價值。 (3)關聯(lián)效度。
是指測評結果與效標的一致性程度。效標是一種用來衡量測評有效性的外在參照標準,它可以是一種測評的結果,也可以是標準測評分數(shù)。
根據(jù)效標是否可以同時獲得,可將關聯(lián)效度分為同時效度與預測效度。作為效標的結果與預測結果同時獲得,這種效度稱之為同時效度。
當作為效標的結果是后來測評中獲得,這種效度稱為預測效度。它反映了現(xiàn)在的測評結果對未來素質(zhì)發(fā)展的預測程度。
不同的測評目的,對于效度的要求也不盡相同。例如,通過測評來選拔人才,則希望測評有較高的預測效度;通過測評來開發(fā)培訓人才,則希望測評兼?zhèn)漭^高的同時效度和預測效度。
四、總結 當然,影響信度的因素有很多,主要是系統(tǒng)誤差和隨機誤差。包括測評者的專業(yè)性和素質(zhì)、被測評者本人心理、測評工具的穩(wěn)定性、環(huán)境穩(wěn)定性等都會影響測評的可信度。
在實際測評過程中要把握各相關方面,不僅要有專業(yè)的測評人員,同時也要在穩(wěn)定的環(huán)境中為被測評者提供一個放松真實的氛。
問題描述:因子分析里面Descriotives里面KMO和巴特利檢驗就可以了
答案1:: 首先必須要做KMO和Bartlett球形檢驗,這個你應該會了吧,
如果這兩個檢驗合格的話說明數(shù)據(jù)是適合做因子分析的。
然后提取因子后,看主因子解釋總變異的百分比和個因子的因子載
荷,主因子解釋總變異一般若大于60%的和因子載荷大于0.6的話說明
結構效度很好。
pS: ,如果題目沒有規(guī)定就是選特征值大于1的,如果題目事先要提取幾
個因子,那么在操作的時候,用SPSS那個因子分析的選項里面有一個地
方可以著名,因子載荷在輸出的結果直接可以看到(rotated
compoment matrpx),一定要是旋轉(zhuǎn)后的因子載荷
:::::::::::::::::::請參考以下相關問題::::::::::::::::::::
用SPSS做問卷的結構效度分析,因子分析的范圍
:::::::::::::::::::請參考以下相關問題::::::::::::::::::::
:::::::::::::::::::請參考以下相關問題::::::::::::::::::::
spss分析問卷效度
:::::::::::::::::::請參考以下相關問題::::::::::::::::::::
:::::::::::::::::::請參考以下相關問題::::::::::::::::::::
根據(jù)定義,可以得知結構效度具有如下一些特點:
(1)結構效度的大小首先取決于事先假定的心理特質(zhì)理論(戴海崎, 張鋒和陳雪楓,2007)。要使得關于某一特質(zhì)測驗的結構效度的研究結果可以進行比較,則對于該特質(zhì)的假設和定義就應該相同。否則,不能進行比較。
(2)由于有可能出現(xiàn)理論假設不成立,或該試驗設計不能對該假設作出適當?shù)臋z驗等情況,因此當實際測量的資料無法證實我們的理論假設時,并不一定就表明該測驗結構效度不高。
(3)結構效度是通過測量什么和不測量什么的證據(jù)累加起來給以確定的,因而不可能有單一的數(shù)量指標來描述結構效度。
效度的驗證通常包含以下幾方面內(nèi)容:
1、表面效度
這是說這個研究工具看起來是不是測到了要測量的內(nèi)容,本質(zhì)上來說他不算效度,他只是表現(xiàn)出了測量的友好性,但實際研究中有時也需要保證一定的表面效度。如果一道數(shù)學題看起來很像一個語文問題,那可能很多人就不會想到用數(shù)學的語言去回答問題,這道題也就測不出數(shù)學能力。表面效度通常不需要特別分析,因為他就是表示這個問卷看起來像不像那么回事
2、內(nèi)容效度
內(nèi)容效度是指測驗是否測到了所要測的內(nèi)容。對于內(nèi)容效度的驗證,通常需要有經(jīng)驗的專家來評定。當然有時也可以從研究對象群體當中抽取一些人來做評定,評定的方式可以采用李克特量表的形式。
3、結構效度
即問卷的結構或者說維度劃分是否正確。通常采用探索性因子分析和驗證性因子分析來研究結構效度。如果分析的結果和研究者的預想一致,則結構效度較好
4、效標關聯(lián)效度
這是最常見的效度研究指標。其邏輯思路是如果一份測量工具測量到了所要測的內(nèi)容,那么假如另一個成熟的研究工具也是測這方面內(nèi)容,或與這方面內(nèi)容高度相關的東西,則這兩種測量工具的分數(shù)應當有較高的相關。通常采用相關分析法來研究。
聲明:本網(wǎng)站尊重并保護知識產(chǎn)權,根據(jù)《信息網(wǎng)絡傳播權保護條例》,如果我們轉(zhuǎn)載的作品侵犯了您的權利,請在一個月內(nèi)通知我們,我們會及時刪除。
蜀ICP備2020033479號-4 Copyright ? 2016 學習鳥. 頁面生成時間:2.821秒