信度和效度分析是问卷分析的第一步,也是检验该问卷是否合格的标准之一,所以,我们在做问卷调查的时候第一步就要进行信度和效度的分析,才能确保我们的问卷有意义。
信度(Reliability)即可靠性,是指使用相同指标或测量工具重复测量相同事物时,得到相同结果的一致性程度。一个好的测量工具,对同一事物反复多次测量,其结果应该始终保持不变才可信。例如,我们用一把尺子测量一张桌子的高度,今天测量得高度与明天测量的高度不同,那么我们就会对这把尺子产生怀疑。因此,一张设计合理的调查问卷应该具有它的可靠性和稳定性。
目前最常用的是Alpha信度系数,一般情况下我们主要考虑量表的内在信度——项目之间是否具有较高的内在一致性。通常认为,信度系数应该在0~1之间,如果量表的信度系数在0.9以上,表示量表的信度很好;如果量表的信度系数在0.8~0.9之间,表示量表的信度可以接受;如果量表的信度系数在0.7~0.8之间,表示量表有些项目需要修订;如果量表的信度系数在0.7以下,表示量表有些项目需要抛弃。
信度分析是:“分析”——“度量”——“可靠性分析”,把所有主观题选到:“项目”中,确定即可,得出总的信度。把统一维度的题目选中,得出先关维度的信度。
具体步骤:分析——度量——可靠性分析
模型选择a,点击确定即可。
结果分析:
分析各个维度和总量的信度后,将它们列出一个表格,其中每个维度的a信度系数都大于0.7,说明该量表信度较好,符合问卷调查。
维度1 | 维度2 | 维度3 | 维度4 | 维度5 | 维度6 | 维度7 | 总量表 | |
a信度系数 | 0.7789 | 0.8004 | 0.8159 | 0.7796 | 0.8244 | 0.7909 | 0.855 | 0.940 |
效度(Validity)即有效性,是衡量综合评价体系是否能够准确反映评价目的和要求。是指测量工具能够测出其所要测量的特征的正确性程度。效度越高,即表示测量结果越能显示其所
要测量的特征,反之,则效度越低。常用于调查问卷效度分析的方法主要有以下几种。
1、单项与总和相关效度分析
这种方法用于测量量表的内容效度。内容效度又称表面效度或逻辑效度,它是指所设计的题项能否代表所要测量的内容或主题。对内容效度常采用逻辑分析与统计分析相结合的方法进行评价。逻辑分析一般由研究者或专家评判所选题项是否“看上去”符合测量的目的和要求。统计分析主要采用单项与总和相关分析法获得评价结果,即计算每个题项得分与题项总分的相关系数,根据相关是否显著判断是否有效。若量表中有反意题项,应将其逆向处理后再计算总分。
2、准则效度分析
准则效度又称为效标效度或预测效度。准则效度分析是根据已经得到确定的某种理论,选择一种指标或测量工具作为准则(效标),分析问卷题项与准则的联系,若二者相关显著,或者问卷题项对准则的不同取值、特性表现出显著差异,则为有效的题项。评价准则效度的方法是相关分析或差异显著性检验。在调查问卷的效度分析中,选择一个合适的准则往往十分困难,使这种方法的应用受到一定限制。
3、结构效度分析
结构效度是指测量结果体现出来的某种结构与测值之间的对应程度。结构效度分析所采用的方法是因子分析。有的学者认为,效度分析最理想的方法是利用因子分析测量量表或整个问卷的结构效度。因子分析的主要功能是从量表全部变量(题项)中提取一些公因子,各公因子分别与某一群特定变量高度关联,这些公因子即代表了量表的基本结构。通过因子分析可以考察问卷是否能够测量出研究者设计问卷时假设的某种结构。在因子分析的结果中,用于评价结构效度的主要指标有累积贡献率、共同度和因子负荷。累积贡献率反映公因子对量表或问卷的累积有效程度,共同度反映由公因子解释原变量的有效程度,因子负荷反映原变量与某个公因子的相关程度。在结束本文时应再次强调,为了提高调查问卷的质量,进而提高整个研究的价值,问卷的信度和效度分析绝非赘疣蛇足,而是研究过程中必不可少的重要环节。
其中因子分析是:分析——降维——因子分析,把所有主观题选到:“项目”中,点击描述,选择KMO和Bartlett’s检验。点击旋转,选择最大方差法。点击选项,按大小排序。其中,KMO值大于0.7,说明问卷的结构效度良好。
具体步骤:
“分析”——“降维”——“因子分析”
(1)将问卷的主观题部分全部选择为“变量”。点击“描述”,设置如下:
(2)点击“旋转”,设置如下:
(3)点击“选项”,设置如下:
结果分析:
在输出结果中,第一个表格中,第一行的的位置的值为0.927,即KMO值大于0.7,说明问卷的结构效度良好。
这个是旋转成分,总共有9个成分,前8个是第一维度,在后面6个是第二维度,类推。。。找出因子的维度。