效度分析

  • B站优酷 效度分析的几种形式及实现
  • B站优酷 结构效度不达标的处理方式
  • 效度用于测量题项(定量数据)设计是否合理,通过因子分析(探索性因子分析)方法进行验证;研究人员心中预期着变量与题项对应关系;进行因子分析后,因子(即变量,使用因子分析时称因子)与题项对应关系;二者预期基本一致时,则说明具有良好效度水平.正常情况下,效度分析仅仅针对量表数据,非量表题目比如多选,单选性别之类的题目不能进行效度分析。如果一定想分析效度,建议可使用‘内容效度’,即用文字详细描述问卷设计的过程,用文字的形式描述清楚问卷是做什么,有什么用处,为什么合理,而且有专家认证,这样就说明问卷设计合理有效。

    • 如果用户预期分析项可分为几个方面(变量),则用户可自行设置因子个数(维度个数),如果不设置,系统会以特征根值大于1作为判定标准设定因子个数;

    • 因子与题项对应关系判断

      假设分析题项为10个,预期分为3个因子(维度或变量);因子与题项交叉共得到30个数字,此30个数字称作”因子载荷系数”(因子载荷系数值表示分析项与因子之间的相关程度);针对每个分析项对应行,则有3个”因子载荷系数值”(比如0.765,-0.066,0.093),3个数字绝对值大于0.4,如果其对应因子1,则说明此题项应该划分在因子1下面.如下表所示:

      因子载荷系数表
      因子载荷系数 共同度(公因子方差)
      因子1 因子2 因子3
      分析项1 0.765 -0.066 0.093 0.598
      分析项2 0.676 0.081 -0.017 0.464
      分析项3 0.657 0.207 -0.205 0.517
      分析项4 0.645 0.271 0.089 0.497
      分析项5 0.501 0.457 0.085 0.467
      分析项6 0.311 0.697 -0.005 0.583
      分析项7 0.226 -0.669 0.130 0.516
      分析项8 0.191 0.644 0.046 0.453
      分析项9 0.476 -0.187 0.542 0.555
      分析项10 0.001 -0.048 0.968 0.939
      • 特别提示
      • 上表格中“分析项5”分别对应“因子1”和“因子2”时,因子载荷系数值分别是0.501和0.457,说明“分析项5”分别与“因子1”或“因子2”的关联性都较高(相对来看与“因子1”更高一点),但都比较高,所以“分析项5”属于“因子1”或“因子2”均可。此类现象属于‘纠缠不清’。类似上表格中“分析项9”也属于“纠缠不清”。针对“纠缠不清”现象,SPSSAU建议暂不处理,一般可接受。

      • 还有一类现象叫做“张冠李戴”,即对应关系出现错误,假设‘分析1’应该和‘分析9’,‘分析10’是同一个维度;明显的上表格中,‘分析项1’放在‘因子1’下面,但是‘分析9’,‘分析10’都放在‘因子3’下面。说明‘分析项1’对应错了位置,本应该在‘因子3’下面却跑到‘因子1’下面,因而‘分析项1’就属于‘张冠李戴’。针对‘张冠李戴’,一定需要将题目删除重新进行分析。

    • 效度分析对不合理题项进行删除

      共有三种情况; 第一类:如果分析项的共同度(公因子方差)值小于0.4,则对应分析项应该作删除处理;第二类:某分析项对应的”因子载荷系数”的绝对值,全部均小于0.4,也需要删除此分析项;第三类:如果某分析项与因子对应关系出现严重偏差,也需要对该分析项进行删除处理(此现象称作‘张冠李戴’)。

    • 效度分析的其余判断指标

      特征根值(通常使用旋转后,以大于1作为标准),方差解释率(意义较小),累积方差解释率(通常使用旋转后,以大于50%作为标准),KMO值(大于0.6作为标准),巴特球形值对应的sig值(小于0.01作为标准)。

      分析项 效度分析说明
      网购满意度四个题项 网购满意度由四个题表示,分别是产品满意度,快递满意度,售后满意度,价格满意度(并且均为量表数据);此四个题表示网购满意度是否合理科学?
      网购满意度20个题项 网购满意度由20个题表示,并且可分为四个大方面,每方面与题项均有着对应关系预期;此种预期与软件出来的结果是否基本一致,如果一致则说明有效.否则需要对题项进行删减处理,删除不合理题项,保留有效题项。

      SPSSAU操作截图如下:(如果专业预期量表题目可分为5个维度,则首先设置“维度个数”为5)

效度分析案例

  • 1、背景

    当前有一份数据,共涉及A1~A4,B1~B4,C1~C3,D1~D3共14个量表题,此14个题目共分为4个维度,分别称作A,B,C和D维度。现希望对此份数据效度情况进行分析,如果有不合理题项将其进行删除处理。

  • 2、理论

    效度是一种概念,其是指研究项(通常比如为问卷量表题目)的设计是否具有科学合理性。通常情况下效度可分为内容效度和结构效度。内容效度是指研究项的设计具有专业性,结合研究目的进行,专家认可等,即使用文字直接描述研究项为什么要这样设计,有什么参考依据,或者有什么专业上的意义,内容效度直接用文字详细描述即可。除开内容效度,还可以使用研究方法进行效度验证,此类效度称做结构效度。

    一般情况下,结构效度是使用因子分析方法进行研究。使用研究方法去探索研究项的内在逻辑结构,通常逻辑结构的判断,最终验证效度水平情况。比如本案例中共有14个量表题项,4个维度,而且14个题项与4个维度之间均有着专业意义上的对应关系情况。那么如果使用研究方法即因子分析进行效度分析时,因子分析结果也显示4个维度分别与14个量表题项的对应关系,与专业上基本吻合,此时此说明研究方法识别出的逻辑内在结构,与专业意义上的内在逻辑结构有着一致性,此时则说明数据具有有效性。

    如果14个量表题项与4个维度之间的对应关系情况,与专业知识情况不符合,比如A1这个题目被划分到了C维度下面,此时则说明可能A1这个题项应该被删除处理,其出现了‘张冠李戴’现象。因而在进行分析时很可能会对部分不合理的题项进行删除处理。

    • 特别提示
    • 有时候会出现‘纠缠不清’现象,比如A1可归属为A维度,同时也可归属到C维度,这种情况较为正常(称作‘纠缠不清’),需要结合实际情况处理即可,可将A1删除,也可不删除,带有一定主观性。效度分析是一个多次重复的过程,比如删除某个或多个题项后,则需要重新再次分析进行对比选择等。最终目的在于:维度与题项对应关系,与专业知识情况基本吻合。

    • 关于维度(因子)和题项对应关系,维度(因子)和题项之间交叉会得到一个‘因子载荷系数’,此系数绝对值大于0.4,则说明二者有着较强关联性,该题项可以与该维度(因子)有着对应关系。

  • 3、操作

    • Step1: 第一次分析

      本例子中A1~A4,B1~B4,C1~C3,D1~D3共14个量表题,此14个题目共分为4个维度,因此在分析前可主动告诉SPSSAU,此14项是四个维度,否则SPSSAU会自动判断多少个维度(通常软件自动判断与实际情况有很大出入,所以建议主动设置维度个数)。如下图:

      完成后结果如下:

      • 从上图中可知:

      • A1~A4这4项,它们全部对应着因子3时,因子载荷系数值均高于0.4,说明此4项应该同属于一个维度,即逻辑上A1~A4这4项,并没有出现‘张冠李戴’现象。但是A1和A2这两项出现‘纠缠不清’现象,A1和A2除了可以对应因子3,也可以放在因子1下面。一般出现‘纠缠不清’现象时,暂时保留,先处理清楚‘张冠李戴’问题更好。

      • B1~B4共4项,B2,B3,B4这3项对应着因子1下面,但是B1却对应着因子2,因此B1这项属于‘张冠李戴’,应该将B1删除。B2同时对应因子1和因子2均可,属于‘纠缠不清’,暂不处理B2。

      • C1~C3共3项,此3项均对应着因子2,此3项并没有出现‘纠缠不清’或者‘张冠李戴’问题。

      • D1~D3共3项,D3出现了‘张冠李戴’问题,应该进行删除处理。D2出现了‘纠缠不清问题’,应该给予关注。

      • 总结上述分析可知:B1和D3这两项出现‘张冠李戴’,应该首先将此两项删除;而A1,A2,B2,D2共四项有出现‘纠缠不清现象’,暂时不处理(进行关注即可)。将B1和D3这两项删除后,进行第二次分析。

    • Step2: 第二次分析

      将B1和D3这两项删除后,进行第二次分析。结果如下:

      • 从上图中可知:

      • A1出现‘张冠李戴’现象,应该删除,A2出现‘纠缠不清’现象,暂不处理,但应该给予关注。

      • B2~B4共3项没有问题

      • C1~C3共3项没有问题。

      • D2出现‘纠缠不清现象’

      • 总结可知:应该将A1先删除后再次进行第3次分析,另对A2和D2这两项给予关注。

    • Step3: 第三次分析

      将A1先删除后再次分析结果如下:

      • 从上图中可知:

      • D2可同时出现在因子2和因子4下面,但考虑到D维度当前仅余下2项,因而表示可以接受,A,B,C和D共4个维度,它们与题项对应关系良好,与专业情况完全相符。因而最终效度分析结束,总共删除掉B1,D3和A1共3项。

  • 4、SPSSAU输出结果

    将最终处理好的结果作为最终结果,并且进行描述即可,由于中间过程可能会非常多,因而不需要具体报告中间过程表格。

  • 5、文字分析

    使用探索性因子分析进行效度分析,14个量表题目共分为4个维度;在进行第一次分析时发现B1和D3这两项,它们与维度对应关系情况,和专业情况不符合(另外一种写法是因子载荷系数值小于0.4,本应该对应该维度时因子载荷系数大于0.4,但是却低于0.4了),因而删除此两项后进行第二次分析,第二次分析时删除掉A1这个题项。最终余下11个题项,此11项与维度对应关系情况良好,与专业预期相符。并且从上表可知:KMO值为0.876>0.6,通过巴特球形检验,累积方差解释率值为78.213%,说明4个维度可以提取出大部分题项信息。因而综合说明研究数据具有良好的结构效度水平。

  • 6、剖析

    效度分析涉及以下几个关键点,分别如下:

    • 区分‘张冠李戴’和‘纠缠不清’这两种现象;

    • 通常先处理掉‘张冠李戴’现象,然后自然的到后面‘纠缠不清’问题会减少,后续即使有个别‘纠缠不清’现象时,也基本可以接受。

    • 通常需要首先设置好维度个数,而不是让软件自动识别。

    • 需要来回多次进行对比,找出最佳结果。

    • 同样的样本数据,不同的分析思路,有可能出现结果不相同,但只要符合效度的思维概念即可。

    • 如果无论如何效度分析均不达标,可考虑以单个维度为准,比如本例中有4个维度,则进行4次效度分析,然后将 4次分析结果合并规范。(PS:此类做法的思路是,题目同属于1个维度,仅需要删除掉因子载荷系数值低于0.4的题项即可,不用考虑多个维度间的逻辑对应关系。)

疑难解惑

  • KMO值过低?
  • 一般需要KMO值大于0.6即可,如果是两个分析项,KMO值一定是0.5;因而建议删除掉共同度(公因子方差)值较低项,这样可以提升KMO值。

  • 如果不输出KMO值,意味着数据质量过差,建议可使用相关分析看下相关关系,如果相关系数值基本均小于0.2(或者没有呈现出显著性),则说明题项间关联性弱,则KMO值一定会较低,建议先移除相关系数值较低项后再次分析。

  • 提示:KMO值综合衡量分析项间的信息重叠情况(即分析项之间的相关关系情况)。分析项之间的相关系数过低(比如小于0.2或没有显著性),信息重叠度低无法有效浓缩信息,这会导致KMO值较低,如果分析项之间的相关系数过高(比如大于0.8),这会导致严重共线性可能无法输出KMO值。分析项之间的相关系数值一般希望介于0.3~0.7之间较好。

  • 效度分析无论如何均‘张冠李戴’或‘纠缠不清’?
  • ‘张冠李戴’是需要处理的,如果无论如何都有‘张冠李戴’现象,意味着维度和题项间对应关系有问题。可考虑以一个维度作为单位(每次均设置维度个数为1),然后重复多次进行,最终把表格结果汇总【此类思路即直接绕过‘张冠李戴’问题,每次仅分析一个维度,即假定了分析项一定是对应着该维度】。

  • ‘纠缠不清’这种现象,多数时候并不需要处理。

  • 如果是经典成熟量表,但依然出现很多’张冠李戴‘现象,可考虑放弃效度分析,直接以量表划分作为标准。

  • 效度分析相关名词解释?
术语 说明
KMO 一个用于检验是否适合因子分析的指标,一般大于0.6即可。
Bartlett球形度检验 对应的p 值小于0.05则说明适合进行因子分析。
特征根 自动识别因子最佳个数的指标,通常大于1作为标准。实际应用中,多数时候是自行设置因子个数。
方差解释率 因子提取的信息量,比如21.651%,意味着该因子提取出所有分析项21.651%的信息量表,方差解释率直接就可理解为权重值。
累积方差解释率 所有因子提取出的信息量,该指标值一般大于50%即可。
最大方差旋转法(Varimax 一种旋转方法,类似于‘魔方’的六种颜色需要对应在一起。一般使用最大方差旋转法。
共同度(公因子方差) 可用于衡量分析项是否有意义的项,一般小于0.4说明该项需要被删除。
因子载荷系数 用于衡量因子和分析项对应关系的指标,其绝对值大于0.4,则说明分析项应隶属于对应的因子。
成分得分 中间计算过程值,通常意义很小。
碎石图 将特征根以图示形式展示,用于辅助判断因子个数。
  • 最大方差旋转问题?
  • SPSSAU默认使用最大方差旋转法(Varimax)对数据进行旋转。特征根,方差解释率和累积方差解释率这三项均区分旋转前和旋转后;如果让软件自动识别因子个数,是以旋转前特征根大于1作为标准;其余情况下的分析建议以旋转后作为标准。

  • 效度分析删除标题?
  • 效度分析时,如果发现共同度(公因子方差)值很低(比如低于0.4),通常该项应该直接删除掉。相当于该项确实有数据,但分析时将其进行了删除处理。后续所有的分析均应该以删除后作为标准进行。

  • 提示出现奇异矩阵?
  • 如果提示出现“奇异矩阵”,通常情况下由于分析样本量太少(比如分析项有20个,分析样本仅10个),此里需要加大样本量或者减少分析项即可;以及还有一种情况是分析项之间的相关性非常非常弱,此时需要移除掉相关性非常弱的分析项(使用相关分析进行检查相关关系)。

  • 效度分析提示“出错啦”或者“非正定矩阵”?
  • 1、因子分析时,放错分析项(重要提示: 效度分析仅仅是针对量表数据

  • 2、数据质量过差。

  • 3、样本量过少,比如仅30个样本

  • 4、如果是问卷数据,请使用‘描述分析’检查,数据中是否有‘-2’,‘-3’之类的异常值(如果有,请先把数据下载,清除掉此类异常数据【直接替换为空】后再上传分析)

  • 5、分析项之间的相关关系非常强(使用相关分析进行检查)

  • 解决办法
  • 如果是放错分析项,将非量表数据放入,则重新放置分析项即可

  • 加大样本量,通常建议100以上的样本量

  • 移除相关关系非常强的项后重新分析

  • 效度分析时,KMO值为null不存在?
  • 1、此处效度分析时因子分析方法的实际应用。原理上因子分析要求各个分析项之间有着适中的相关关系(不能过高或过低)。如果分析项之间的相关系数值过高(比如大于0.8),说明共线性太强,无法有效浓缩信息,此种情况可能导致KMO值无法输出。建议在进行因子分析前可先进行相关分析进行查看各分析项间的相关系数情况,移除掉相关系数值过高项之后,再次进行分析即可。

  • 2、样本量过少容易导致相关系数过高,一般希望分析样本量大于5倍分析项个数。

  • 3、特别提示,问卷中定量数据(通常是量表)才能做因子分析,定类数据不能进行效度分析。

  • 4、提示:KMO值综合衡量分析项间的信息重叠情况(即分析项之间的相关关系情况)。分析项之间的相关系数过低(比如小于0.2或没有显著性),信息重叠度低无法有效浓缩信息,这会导致KMO值较低,如果分析项之间的相关系数过高(比如大于0.8),这会导致严重共线性可能无法输出KMO值。分析项之间的相关系数值一般希望介于0.3~0.7之间较好。

  • 解决办法
  • 先检查相关关系情况,并且移除掉相关系数过高项后再次分析;

  • 加大样本量,建议分析样本量大于5倍分析项个数。

  • 检查是否有放入定类数据进行分析,如果有需要首先移出模型。

  • 效度不达标?
  • 针对问卷 量表数据(重要提示: 效度分析仅仅是针对量表数据),可以进行 效度分析。如果是非量表,则不能进行效度分析(可以使用文字详细描述问卷如何设计,问卷设计是否合理性等等以证明问卷设计有效度,文字描述的过程叫做内容效度)。效度分析需要注意以下几点:

  • 1、效度分析时,是综合各项指标进行综合判断,包括KMO值,巴特球形检验,方差解释率,累积方差解释率值,因子载荷系数值,维度和题项对应关系等。

  • 2、效度分析时, 很可能需要删除题目,以便于维度和题项对应关系符合预期。

  • 3、效度分析时, 最关键的地方在于:维度和题项对应关系,是否与专业预期符合;其余指标相应比较容易达标,最核心的是让维度和题项对应关系保持基本一致性。

  • 4、效度分析时,是个多次 来回重复对比的过程,很可能重复进行很多次,对比删除题目后找出最优结果。

  • 5、如果分析题目专业预期应该对应5个维度,则应该先设置成数字5,如下图。

  • 6、如果无论如何 效度分析均不达标,可考虑以单个维度为准,如果有3个维度,则进行3次效度分析,然后将3次分析结果合并规范。如下图所示:

  • 非量表如何进行效度分析?
  • 量表是指类似于“非常不满意,不满意,非常满意”这样的题项,第1个选项用1分表示,第2个选项用2分表示,依次下去,分值越大代表越满意,或者越不满意。只有量表题才能进行效度分析(以及信度分析)。

  • 效度分析用于研究问卷设计是否有效合理,如果是非量表题,则没有办法使用研究方法进行分析,只能使用文字形式进行描述(这种叫内容效度),以证明问卷设计的合理性,建议按以下几点分别说明,从各个角度论证问卷设计的合理性。

  • 第一:用文字描述问卷的设计过程,包括问题设计与思路如何保持一致性;

  • 第二:用文字描述问卷设计的参考依据,比如参考某某文献设计问卷等;

  • 第三:用文字描述问卷设计的过程,比如是否进行过预测试,对问卷进行过哪些修改处理等,修正的原因等;

  • 第四:用文字描述专家或同行的认可性,比如问卷设计经过某指导教授或老师的认可,也或者相关专业人士(比如学长同学等)进行过沟通修改等。

  • 第五:其它可用于论证问卷设计合理的说明等。

  • ‘纠缠不清’时如何处理?
  • 实际分析过程中‘纠缠不清’非常普通,通常情况下并不需要做任何处理。当然如何题比较多,也可以考虑移除掉‘纠缠不清’的项。具体如何处理没有固定标准,取决于研究人员的对比尝试,选择出最优结果即可。但张冠李戴一定是需要处理掉的。

  • 仅两个题项是否有必要做效度分析?
  • 如果某维度仅对应两个量表题项,此时KMO值一定是0.5,此时可直接针对载荷系数值进行描述说明即可,当载荷系数都大于0.4时则说明有效度。SPSSAU建议需要提前做好预防,除非专业上要求,否则一个维度需要在2个以上(尽量4~7个题)较好。仅两个题项去表示一个维度时,容易出现信度不达标等现象。

  • 效度分析可以只使用KMO值吗?
  • 效度分析并没有固定的标准,最简单的效度检验是直接查看KMO值是否大于标准(一般是0.6)即可,具体效度分析应该如何分析建议以文献为准。

  • 特征根值没有大于1可以吗?
  • 分析时通常需要综合自己的专业知识,以及软件结果进行综合判断,即使是特征根值小于1,也一样可以提取因子。

  • 累积方差解释率出现100%以上如何办?
  • 正常情况下,累积方差解释率会小于100%,但如果数据的共线性问题太严重,有可能出现方差解释率值大于100%,此时建议进行相关分析,找出相关性太强(比如相关系数大于0.8)的项,然后从分析框中移出后再次分析。与此同时,如果样本量太少也可能出现此问题建议加大样本量即可。

  • 深入理解因子分析对应关系的调整?
  • 关于如何效度分析的深入思考,更多可查看此页面详细说明

  • 信度或效度分析删除的项,后续是否需要保留?
  • 如果说已经在信度分析(也或者效度,也或者其它分析)时认为某个分析项不合理需要对其删除处理,那么后续各类分析方法一般均需要同步一致,并不是把数据直接删除,而是在分析时直接不分析该项即可。

  • SPSSAU提示‘某标题数字恒定,请检查数据!’?
  • 如果某个分析项永远固定为1个数字,此时会出现该提示。研究者可通过通用方法模块里面的描述分析,查看最大和最小值相等的项,并且在分析时将该项从模型中移除出去即可。