效度分析

  • 效度用于测量题项(定量数据)设计是否合理,通过因子分析(探索性因子分析)方法进行验证;研究人员心中预期着变量与题项对应关系;进行因子分析后,因子(即变量,使用因子分析时称因子)与题项对应关系;二者预期基本一致时,则说明具有良好效度水平.正常情况下,效度分析仅仅针对量表数据,非量表题目比如多选,单选性别之类的题目不能进行效度分析。如果一定想分析效度,建议可使用‘内容效度’,即用文字详细描述问卷设计的过程,用文字的形式描述清楚问卷是做什么,有什么用处,为什么合理,而且有专家认证,这样就说明问卷设计合理有效。

    • 如果用户预期分析项可分为几个方面(变量),则用户可自行设置因子个数(维度个数),如果不设置,系统会以特征根值大于1作为判定标准设定因子个数;

    • 因子与题项对应关系判断

      假设分析题项为10个,预期分为3个因子(维度或变量);因子与题项交叉共得到30个数字,此30个数字称作”因子载荷系数”(因子载荷系数值表示分析项与因子之间的相关程度);针对每个分析项对应行,则有3个”因子载荷系数值”(比如0.765,-0.066,0.093),3个数字绝对值大于0.4,如果其对应因子1,则说明此题项应该划分在因子1下面.如下表所示:

      因子载荷系数表
      因子载荷系数 共同度
      因子1 因子2 因子3
      分析项1 0.765 -0.066 0.093 0.598
      分析项2 0.676 0.081 -0.017 0.464
      分析项3 0.657 0.207 -0.205 0.517
      分析项4 0.645 0.271 0.089 0.497
      分析项5 0.501 0.457 0.085 0.467
      分析项6 0.311 0.697 -0.005 0.583
      分析项7 0.226 -0.669 0.130 0.516
      分析项8 0.191 0.644 0.046 0.453
      分析项9 0.476 -0.187 0.542 0.555
      分析项10 0.001 -0.048 0.968 0.939
      • 特别提示
      • 上表格中“分析项5”分别对应“因子1”和“因子2”时,因子载荷系数值分别是0.501和0.457,说明“分析项5”分别与“因子1”或“因子2”的关联性都较高(相对来看与“因子1”更高一点),但都比较高,所以“分析项5”属于“因子1”或“因子2”均可。此类现象属于‘纠缠不清’。类似上表格中“分析项9”也属于“纠缠不清”。针对“纠缠不清”现象,SPSSAU建议暂不处理,一般可接受。

      • 还有一类现象叫做“张冠李戴”,即对应关系出现错误,假设‘分析1’应该和‘分析9’,‘分析10’是同一个维度;明显的上表格中,‘分析项1’放在‘因子1’下面,但是‘分析9’,‘分析10’都放在‘因子3’下面。说明‘分析项1’对应错了位置,本应该在‘因子3’下面却跑到‘因子1’下面,因而‘分析项1’就属于‘张冠李戴’。针对‘张冠李戴’,一定需要将题目删除重新进行分析。

    • 效度分析对不合理题项进行删除

      共有三种情况; 第一类:如果分析项的共同度值小于0.4,则对应分析项应该作删除处理;第二类:某分析项对应的”因子载荷系数”的绝对值,全部均小于0.4,也需要删除此分析项;第三类:如果某分析项与因子对应关系出现严重偏差,也需要对该分析项进行删除处理(此现象称作‘张冠李戴’)。

    • 效度分析的其余判断指标

      特征根值(通常使用旋转后,以大于1作为标准),方差解释率(意义较小),累积方差解释率(通常使用旋转后,以大于50%作为标准),KMO值(大于0.6作为标准),巴特球形值对应的sig值(小于0.01作为标准)。

      分析项 效度分析说明
      网购满意度四个题项 网购满意度由四个题表示,分别是产品满意度,快递满意度,售后满意度,价格满意度(并且均为量表数据);此四个题表示网购满意度是否合理科学?
      网购满意度20个题项 网购满意度由20个题表示,并且可分为四个大方面,每方面与题项均有着对应关系预期;此种预期与软件出来的结果是否基本一致,如果一致则说明有效.否则需要对题项进行删减处理,删除不合理题项,保留有效题项。

      SPSSAU操作截图如下:(如果专业预期量表题目可分为5个维度,则首先设置“维度个数”为5)

效度分析案例

  • 1、背景

    当前有一份数据,共涉及A1~A4,B1~B4,C1~C3,D1~D3共14个量表题,此14个题目共分为4个维度,分别称作A,B,C和D维度。现希望对此份数据效度情况进行分析,如果有不合理题项将其进行删除处理。

  • 2、理论

    效度是一种概念,其是指研究项(通常比如为问卷量表题目)的设计是否具有科学合理性。通常情况下效度可分为内容效度和结构效度。内容效度是指研究项的设计具有专业性,结合研究目的进行,专家认可等,即使用文字直接描述研究项为什么要这样设计,有什么参考依据,或者有什么专业上的意义,内容效度直接用文字详细描述即可。除开内容效度,还可以使用研究方法进行效度验证,此类效度称做结构效度。

    一般情况下,结构效度是使用因子分析方法进行研究。使用研究方法去探索研究项的内在逻辑结构,通常逻辑结构的判断,最终验证效度水平情况。比如本案例中共有14个量表题项,4个维度,而且14个题项与4个维度之间均有着专业意义上的对应关系情况。那么如果使用研究方法即因子分析进行效度分析时,因子分析结果也显示4个维度分别与14个量表题项的对应关系,与专业上基本吻合,此时此说明研究方法识别出的逻辑内在结构,与专业意义上的内在逻辑结构有着一致性,此时则说明数据具有有效性。

    如果14个量表题项与4个维度之间的对应关系情况,与专业知识情况不符合,比如A1这个题目被划分到了C维度下面,此时则说明可能A1这个题项应该被删除处理,其出现了‘张冠李戴’现象。因而在进行分析时很可能会对部分不合理的题项进行删除处理。

    • 特别提示
    • 有时候会出现‘纠缠不清’现象,比如A1可归属为A维度,同时也可归属到C维度,这种情况较为正常(称作‘纠缠不清’),需要结合实际情况处理即可,可将A1删除,也可不删除,带有一定主观性。效度分析是一个多次重复的过程,比如删除某个或多个题项后,则需要重新再次分析进行对比选择等。最终目的在于:维度与题项对应关系,与专业知识情况基本吻合。

    • 关于维度(因子)和题项对应关系,维度(因子)和题项之间交叉会得到一个‘因子载荷系数’,此系数绝对值大于0.4,则说明二者有着较强关联性,该题项可以与该维度(因子)有着对应关系。

  • 3、操作

    • Step1: 第一次分析

      本例子中A1~A4,B1~B4,C1~C3,D1~D3共14个量表题,此14个题目共分为4个维度,因此在分析前可主动告诉SPSSAU,此14项是四个维度,否则SPSSAU会自动判断多少个维度(通常软件自动判断与实际情况有很大出入,所以建议主动设置维度个数)。如下图:

      完成后结果如下:

      • 从上图中可知:

      • A1~A4这4项,它们全部对应着因子3时,因子载荷系数值均高于0.4,说明此4项应该同属于一个维度,即逻辑上A1~A4这4项,并没有出现‘张冠李戴’现象。但是A1和A2这两项出现‘纠缠不清’现象,A1和A2除了可以对应因子3,也可以放在因子1下面。一般出现‘纠缠不清’现象时,暂时保留,先处理清楚‘张冠李戴’问题更好。

      • B1~B4共4项,B2,B3,B4这3项对应着因子1下面,但是B1却对应着因子2,因此B1这项属于‘张冠李戴’,应该将B1删除。B2同时对应因子1和因子2均可,属于‘纠缠不清’,暂不处理B2。

      • C1~C3共3项,此3项均对应着因子2,此3项并没有出现‘纠缠不清’或者‘张冠李戴’问题。

      • D1~D3共3项,D3出现了‘张冠李戴’问题,应该进行删除处理。D2出现了‘纠缠不清问题’,应该给予关注。

      • 总结上述分析可知:B1和D3这两项出现‘张冠李戴’,应该首先将此两项删除;而A1,A2,B2,D2共四项有出现‘纠缠不清现象’,暂时不处理(进行关注即可)。将B1和D3这两项删除后,进行第二次分析。

    • Step2: 第二次分析

      将B1和D3这两项删除后,进行第二次分析。结果如下:

      • 从上图中可知:

      • A1出现‘张冠李戴’现象,应该删除,A2出现‘纠缠不清’现象,暂不处理,但应该给予关注。

      • B2~B4共3项没有问题

      • C1~C3共3项没有问题。

      • D2出现‘纠缠不清现象’

      • 总结可知:应该将A1先删除后再次进行第3次分析,另对A2和D2这两项给予关注。

    • Step3: 第三次分析

      将A2先删除后再次分析结果如下:

      • 从上图中可知:

      • D2可同时出现在因子2和因子4下面,但考虑到D维度当前仅余下2项,因而表示可以接受,A,B,C和D共4个维度,它们与题项对应关系良好,与专业情况完全相符。因而最终效度分析结束,总共删除掉B1,D3和A1共3项。

  • 4、SPSSAU输出结果

    将最终处理好的结果作为最终结果,并且进行描述即可,由于中间过程可能会非常多,因而不需要具体报告中间过程表格。

  • 5、文字分析

    使用探索性因子分析进行效度分析,14个量表题目共分为4个维度;在进行第一次分析时发现B1和D3这两项,它们与维度对应关系情况,和专业情况不符合(另外一种写法是因子载荷系数值小于0.4,本应该对应该维度时因子载荷系数大于0.4,但是却低于0.4了),因而删除此两项后进行第二次分析,第二次分析时删除掉A1这个题项。最终余下11个题项,此11项与维度对应关系情况良好,与专业预期相符。并且从上表可知:KMO值为0.876>0.6,通过巴特球形检验,累积方差解释率值为78.213%,说明4个维度可以提取出大部分题项信息。因而综合说明研究数据具有良好的结构效度水平。

  • 6、剖析

    效度分析涉及以下几个关键点,分别如下:

    • 区分‘张冠李戴’和‘纠缠不清’这两种现象;

    • 通常先处理掉‘张冠李戴’现象,然后自然的到后面‘纠缠不清’问题会减少,后续即使有个别‘纠缠不清’现象时,也基本可以接受。

    • 通常需要首先设置好维度个数,而不是让软件自动识别。

    • 需要来回多次进行对比,找出最佳结果。

    • 同样的样本数据,不同的分析思路,有可能出现结果不相同,但只要符合效度的思维概念即可。

    • 如果无论如何效度分析均不达标,可考虑以单个维度为准,比如本例中有4个维度,则进行4次效度分析,然后将 4次分析结果合并规范。(PS:此类做法的思路是,题目同属于1个维度,仅需要删除掉因子载荷系数值低于0.4的题项即可,不用考虑多个维度间的逻辑对应关系。)

疑难解惑

  • KMO值过低?
  • 一般需要KMO值大于0.6即可,如果是两个分析项,KMO值一定是0.5;因而建议删除掉共同度值较低项,这样可以提升KMO值。

  • 如果不输出KMO值,意味着数据质量过差,建议可使用相关分析看下相关关系,如果相关系数值基本均小于0.3,则说明题项间关联性弱,有可能出现KMO无法计算输出。

  • 效度分析无论如何均‘张冠李戴’或‘纠缠不清’?
  • ‘张冠李戴’是需要处理的,如果无论如何都有‘张冠李戴’现象,意味着维度和题项间对应关系有问题。可考虑以一个维度作为单位(每次均设置维度个数为1),然后重复多次进行,最终把表格结果汇总【此类思路即直接绕过‘张冠李戴’问题,每次仅分析一个维度,即假定了分析项一定是对应着该维度】。

  • ‘纠缠不清’这种现象,多数时候并不需要处理。

  • 如果是经典成熟量表,但依然出现很多’张冠李戴‘现象,可考虑放弃效度分析,直接以量表划分作为标准。

  • 效度分析相关名词解释?
术语 说明
KMO 一个用于检验是否适合因子分析的指标,一般大于0.6即可。
Bartlett球形度检验 对应的P值小于0.05则说明适合进行因子分析。
特征根 自动识别因子最佳个数的指标,通常大于1作为标准。实际应用中,多数时候是自行设置因子个数。
方差解释率 因子提取的信息量,比如21.651%,意味着该因子提取出所有分析项21.651%的信息量表,方差解释率直接就可理解为权重值。
累积方差解释率 所有因子提取出的信息量,该指标值一般大于50%即可。
最大方差旋转法(Varimax 一种旋转方法,类似于‘魔方’的六种颜色需要对应在一起。一般使用最大方差旋转法。
共同度 可用于衡量分析项是否有意义的项,一般小于0.4说明该项需要被删除。
因子载荷系数 用于衡量因子和分析项对应关系的指标,其绝对值大于0.4,则说明分析项应隶属于对应的因子。
成分得分 中间计算过程值,通常意义很小。
碎石图 将特征根以图示形式展示,用于辅助判断因子个数。
  • 最大方差旋转问题?
  • SPSSAU默认使用最大方差旋转法(Varimax)对数据进行旋转。特征根,方差解释率和累积方差解释率这三项均区分旋转前和旋转后;如果让软件自动识别因子个数,是以旋转前特征根大于1作为标准;其余情况下的分析建议以旋转后作为标准。

  • 效度分析删除标题?
  • 效度分析时,如果发现共同度值很低(比如低于0.4),通常该项应该直接删除掉。相当于该项确实有数据,但分析时将其进行了删除处理。后续所有的分析均应该以删除后作为标准进行。

  • 提示出现奇异矩阵?
  • 如果提示出现“奇异矩阵”,通常情况下由于分析样本量太少(比如分析项有20个,分析样本仅10个),此里需要加大样本量或者减少分析项即可;以及还有一种情况是分析项之间的相关性非常非常弱,此时需要移除掉相关性非常弱的分析项(使用相关分析进行检查相关关系)。

  • 效度分析提示“出错啦”或者“非正定矩阵”?
  • 1、因子分析时,放错分析项(重要提示: 效度分析仅仅是针对量表数据

  • 2、数据质量过差。

  • 3、样本量过少,比如仅30个样本

  • 4、如果是问卷数据,请使用‘描述分析’检查,数据中是否有‘-2’,‘-3’之类的异常值(如果有,请先把数据下载,清除掉此类异常数据【直接替换为空】后再上传分析)

  • 5、分析项之间的相关关系非常强(使用相关分析进行检查)

  • 解决办法
  • 如果是放错分析项,将非量表数据放入,则重新放置分析项即可

  • 加大样本量,通常建议100以上的样本量

  • 移除相关关系非常强的项后重新分析

  • 效度分析时,KMO值不存在?
  • 1、因子分析时,放错分析项(重要提示: 效度分析仅仅是针对 量表数据,并非把所有标题均放入

  • 2、数据质量过差,建议可使用相关分析看下相关关系,如果相关系数值基本均小于0.3,则说明题项间关联性弱,也有可能出现KMO无法计算输出。

  • 3、样本量过少

  • 解决办法
  • 如果是放错分析项,将非量表数据放入,则重新放置分析项即可

  • 加大样本量,通常建议100以上的样本量

  • 效度不达标?
  • 针对问卷 量表数据(重要提示: 效度分析仅仅是针对量表数据),可以进行 效度分析。如果是非量表,则不能进行效度分析(可以使用文字详细描述问卷如何设计,问卷设计是否合理性等等以证明问卷设计有效度,文字描述的过程叫做内容效度)。效度分析需要注意以下几点:

  • 1、效度分析时,是综合各项指标进行综合判断,包括KMO值,巴特球形检验,方差解释率,累积方差解释率值,因子载荷系数值,维度和题项对应关系等。

  • 2、效度分析时, 很可能需要删除题目,以便于维度和题项对应关系符合预期。

  • 3、效度分析时, 最关键的地方在于:维度和题项对应关系,是否与专业预期符合;其余指标相应比较容易达标,最核心的是让维度和题项对应关系保持基本一致性。

  • 4、效度分析时,是个多次 来回重复对比的过程,很可能重复进行很多次,对比删除题目后找出最优结果。

  • 5、如果分析题目专业预期应该对应5个维度,则应该先设置成数字5,如下图。

  • 6、如果无论如何 效度分析均不达标,可考虑以单个维度为准,如果有3个维度,则进行3次效度分析,然后将3次分析结果合并规范。如下图所示:

  • 非量表如何进行效度分析?
  • 量表是指类似于“非常不满意,不满意,非常满意”这样的题项,第1个选项用1分表示,第2个选项用2分表示,依次下去,分值越大代表越满意,或者越不满意。只有量表题才能进行效度分析(以及信度分析)。

  • 效度分析用于研究问卷设计是否有效合理,如果是非量表题,则没有办法使用研究方法进行分析,只能使用文字形式进行描述(这种叫内容效度),以证明问卷设计的合理性,建议按以下几点分别说明,从各个角度论证问卷设计的合理性。

  • 第一:用文字描述问卷的设计过程,包括问题设计与思路如何保持一致性;

  • 第二:用文字描述问卷设计的参考依据,比如参考某某文献设计问卷等;

  • 第三:用文字描述问卷设计的过程,比如是否进行过预测试,对问卷进行过哪些修改处理等,修正的原因等;

  • 第四:用文字描述专家或同行的认可性,比如问卷设计经过某指导教授或老师的认可,也或者相关专业人士(比如学长同学等)进行过沟通修改等。

  • 第五:其它可用于论证问卷设计合理的说明等。