数据质量异常

在进行SPSSAU分析(或其它分析软件)时,有可能出现无法得到正常结果的现象,多数情况是由于数据间的相关关系出现问题(相关系数接近1或相关系数接近0)所致,也有可能样本量过少所致,此3个问题为通用问题,如下表和说明:

通用问题 检查 解决办法
1 绝对共线性 相关分析查看相关系数值是否接近1 将相关系数接近1的项移出模型中
2 基本没有相关关系 相关分析查看相关系数值是否接近0 将相关系数接近0的项移出模型中
3 样本量太少 使用频数分析检查 加大样本量
  • 第一:异常的原因
  • 如果数据出现‘绝对共线性’,比如出现2个分析项之间出现相关系数值接近1(或接近1),即有完全的替代关系,但是却把2个分析项同时进行分析,则有可能出现异常现象。除此之外,如果说2项之间基本没有相关(相关系数接近0),但此2项同时在模型中出现,此时也很可能出现异常现象。当出现此类情况时,把相关系数接近1或0的项移出去,再次分析即可。

  • 如果分析的样本量非常少,比如分析样本量仅10个,但模型中有20个分析项,这种情况很容易出现异常,因为样本量太少。如果样本量过少,首先需要查清楚原因,如果确实是样本量过少就需要加大样本,当然也可以从模型中移出一些项后分析尝试。

  • 第二:异常的检查
  • 当出现数据异常时,通用有两种检查方法,一是使用相关分析查看相关系数情况(把出现异常的模型中所有分析项都做相关分析);二是使用描述分析查看样本量,检查当前分析的样本量情况有多少(有可能数据有缺失,或者筛选等导致分析样本量非常少)。

  • 第三:异常深入检查和反馈
  • 除上述问题外,每个方法出现异常的原因有所不同,下面会针对每个方法出现的原因进行说明。如果依旧出现数据异常无法解决时,建议发送2项资料(1是数据(在SPSSAU右上角“我的数据”点击“分享”按钮得到数据链接发送),2是操作截图)提交人工客服反馈,会由人工服务处理回复。

  • 第四:其它
  • 除此之外,如果数据做过虚拟哑变量设置,本应该留出一个参考项(即少放一项在模型中),但却把哑变量全部放到回归模型中,一般都会出现异常或者奇异矩阵等。

  • 重要建议:当出现质量异常或奇异矩阵等提示时,建议使用‘进阶方法’的共线性分析,系统会自动寻找出共线性很强的项,并且提供智能分析建议,通常按照系统建议进行处理后即可正常输出结果。

数据质量异常

  • 1、验证性因子分析

    可能原因 检查或解决办法
    0 通用问题(相关系数接近1或0,样本量过少) 按通用问题对应的解决办法
    1 使用了错误的分析方法 量表题才能做验证性因子分析
    2 同一因子的分析项之间相关关系过弱 移除相关系数过低项
    3 MI调整过度 修改MI调整值

    当CFA出现质量异常时,首先按照通用问题进行查看(即做相关分析,检查分析项之间是否有出现接近1,或者接近0),以及检查样本量是否过少(比如小于分析项的个数)等,并且进行处理后再次分析。

    如果依旧出现数据质量异常,还有2种情况进行检验,1是CFA分析一般只针对量表题,请检查数据是否为量表题。除此之外,将同一个因子对应的项做相关分析,如果发现某两项之间的相关性过弱(比如相关系数小于0.2),把其中一项从模型中移除出去,再次进行分析即可。

    MI调整是指结合MI值对分析项之间建立协方差关系(即相关关系),比如MI值大于10时建立协方差关系,此过程为内部自动建模过程,其目的仅仅在于对模型进行优化。有可能出现建立的协方差关系过多导致模型无法收敛拟合。此时建议把标准放宽尝试即可。

  • 2、结构方程模型SEM

    • B站优酷 结构方程数据质量异常查看?
    可能原因 检查或解决办法
    0 通用问题(相关系数接近1或0,样本量过少) 按通用问题对应的解决办法
    1 使用了错误的分析方法 量表题才能做SEM分析
    2 同一因子的分析项之间相关关系过弱 移除相关系数过低项
    3 MI调整过度 修改MI调整值

    当SEM出现质量异常时,首先按照通用问题进行查看(即做相关分析,检查分析项之间是否有出现1,或者0),以及检查样本量是否过少(比如小于分析项的个数)等,并且进行处理后再次分析。

    如果依旧出现数据质量异常,还有2种情况进行检验,1是SEM分析一般只针对量表题,请检查数据是否为量表题。除此之外,将同一个因子对应的项做相关分析,如果发现某两项之间的相关性过弱(比如相关系数小于0.2),把其中一项从模型中移除出去,再次进行分析即可。

    MI调整是指结合MI值对分析项之间建立协方差关系(即相关关系),比如MI值大于10时建立协方差关系,此过程为内部自动建模过程,其目的仅仅在于对模型进行优化。有可能出现建立的协方差关系过多导致模型无法收敛拟合。此时建议把标准放宽尝试即可。

  • 3、路径分析

    可能原因 检查或解决办法
    0 通用问题(相关系数接近1或0,样本量过少) 按通用问题对应的解决办法
    1 MI调整过度 修改MI调整值

    MI调整是指结合MI值对分析项之间建立协方差关系(即相关关系),比如MI值大于10时建立协方差关系,此过程为内部自动建模过程,其目的仅仅在于对模型进行优化。有可能出现建立的协方差关系过多导致模型无法收敛拟合。此时建议把标准放宽尝试即可。

  • 4、二元Logit回归

    可能原因 检查或解决办法
    0 通用问题(相关系数接近1或0,样本量过少) 按通用问题对应的解决办法
    1 因变量Y数据分布严重不均匀 对因变量做频数分析

    当二元Logit回归出现质量异常时,首先按照通用问题进行查看(即做相关分析,检查分析项之间是否有出现1,或者0),以及检查样本量是否过少(比如小于分析项的个数)等,并且进行处理后再次分析。

    如果依旧出现数据质量异常,建议对因变量Y做频数分析,查看频数分布情况,如果出现某项的频数接近0个(比如仅2个),此类数据并不适合进行二元Logit回归,因为数据分布极其不均匀,建议改用其它方法。

    另外,当出现‘奇异矩阵’提示时,此类情况是由于严重共线性,即相关系数接近1所致;具体原因上很可能是样本量太少(比如仅10个样本但却有20个分析项),也或者虚拟哑变量问题设置不当所致。

  • 5、有序Logit回归

    可能原因 检查或解决办法
    0 通用问题(相关系数接近1或0,样本量过少) 按通用问题对应的解决办法
    1 无法进行平行性检验 改用多分类Logit回归

    当有序Logit回归出现质量异常时,首先按照通用问题进行查看(即做相关分析,检查分析项之间是否有出现1,或者0),以及检查样本量是否过少(比如小于分析项的个数)等,并且进行处理后再次分析。

    如果依旧出现数据质量异常,建议查看是否选中平行性检验,平行性检验对数据质量要求相对较高,有可能模型不收敛因此无法进行平行性检验,此时建议改用多分类Logit回归。

    另外,当出现‘奇异矩阵’提示时,此类情况是由于严重共线性,即相关系数接近1所致;具体原因上很可能是样本量太少(比如仅10个样本但却有20个分析项),也或者虚拟哑变量问题设置不当所致。

  • 6、多分类Logit回归

    可能原因 检查或解决办法
    0 通用问题(相关系数接近1或0,样本量过少) 按通用问题对应的解决办法
    1 因变量Y数据分布严重不均匀 对因变量做频数分析

    当多分类Logit回归出现质量异常时,首先按照通用问题进行查看(即做相关分析,检查分析项之间是否有出现1,或者0),以及检查样本量是否过少(比如小于分析项的个数)等,并且进行处理后再次分析。

    如果依旧出现数据质量异常,建议对因变量Y做频数分析,查看频数分布情况,如果出现某项的频数接近0个(比如仅2个),因变量各项的分布严重不均匀导致模型不收敛出现异常,建议使用数据处理里面的数据编码,对组别进行合并,当然也可以筛选出分布较为均匀的组别后,再次进行分析。

    另外,当出现‘奇异矩阵’提示时,此类情况是由于严重共线性,即相关系数接近1所致;具体原因上很可能是样本量太少(比如仅10个样本但却有20个分析项),也或者虚拟哑变量问题设置不当所致。

  • 7、PLS回归

    可能原因 检查或解决办法
    0 通用问题(相关系数接近1或0,样本量过少) 按通用问题对应的解决办法

    当PLS回归出现质量异常时,首先按照通用问题进行查看(即做相关分析,检查分析项之间是否有出现1,或者0),以及检查样本量是否过少(比如小于分析项的个数)等,并且进行处理后再次分析。

  • 8、典型相关

    可能原因 检查或解决办法
    0 通用问题(相关系数接近1或0,样本量过少) 按通用问题对应的解决办法

    当典型相关分析出现质量异常时,首先按照通用问题进行查看(即做相关分析,检查分析项之间是否有出现1,或者0),以及检查样本量是否过少(比如小于分析项的个数)等,并且进行处理后再次分析。

  • 9、双因素方差、三因素方差、多因素方差、协方差

    可能原因 检查或解决办法
    0 通用问题(相关系数接近1或0,样本量过少) 按通用问题对应的解决办法
    1 非实验或类实验数据,正交设计数据等 改用通用方法里面的方差分析

    当双因素方差、三因素方差、多因素或协方差分析出现质量异常时,首先按照通用问题进行查看(即做相关分析,检查分析项之间是否有出现1,或者0),以及检查样本量是否过少(比如小于分析项的个数)等,并且进行处理后再次分析。

    如果依旧出现数据质量异常,建议查看自己的数据是否为实验或类实验数据正交设计数据等,通常情况下双因素,三因素,多因素方差分析都是针对实验或类实验,也或者正交设计数据等进行分析;因为此类数据会有非常强的‘平衡性’。其它的数据正常情况下是使用单因素方差(通用方法里面的方差)进行分析,重复做多次即可。

  • 10、重复测量方差

    可能原因 检查或解决办法
    0 通用问题(相关系数接近1或0,样本量过少) 按通用问题对应的解决办法
    1 数据格式不对 查看数据格式例子

    当重复测量方差出现质量异常时,首先按照通用问题进行查看(即做相关分析,检查分析项之间是否有出现1,或者0),以及检查样本量是否过少(比如小于分析项的个数)等,并且进行处理后再次分析。

    如果依旧出现数据质量异常,多数情况下是由于数据格式不对所致,SPSSAU支持long-format数据,具体可通过此页面(或对应的帮助手册)查看数据格式例子。https://www.spssau.com/helps/otherdocuments/methodsdataformat.html

  • 11、面板模型

    可能原因 检查或解决办法
    0 通用问题(相关系数接近1或0,样本量过少) 按通用问题对应的解决办法
    1 数据格式不对 查看数据格式例子

    当面板模型出现质量异常时,首先按照通用问题进行查看(即做相关分析,检查分析项之间是否有出现1,或者0),以及检查样本量是否过少(比如小于分析项的个数)等,并且进行处理后再次分析。

    如果依旧出现数据质量异常,多数情况下是由于数据格式不对所致,具体可通过此页面(或对应的帮助手册)查看数据格式例子。https://www.spssau.com/helps/otherdocuments/methodsdataformat.html

疑难解惑

  • 重要建议:当出现质量异常或奇异矩阵等提示时,建议使用‘进阶方法’的共线性分析,系统会自动寻找出共线性很强的项,并且提供智能分析建议,通常按照系统建议进行处理后即可正常输出结果。

  • 出现其它问题如何排查?
  • 在SPSSAU系统中,如果无法拟合出结果,比如出现‘无有效数据’,‘有效样本量不足’等等各类提示。建议按以下步骤进行排查:

  • 第一、先进行描述分析,查看下样本量情况;以及标准差是否为0(如果为0说明数字全部相等,这种数据基本上无法做任何分析);

  • 第二、针对定类数据,建议可进行频数分析,查看各选项的分布情况是否有异常;

  • 第三、进行相关分析,查看数据间的相关关系情况是否有很高或者很高,比如相关系数值大于0.7,也或者相关系数全部不显著且小于0.2等。

  • 第四、如果还有问题,建议提交人工客服反馈,会由人工服务回复。

  • 分析时提示“数据超时”?
  • 在分析时,比如进行数据包络DEA分析(或其它分析时),可能其计算量大导致无法在短时间(通常是1分钟内)计算出结果,此时则会提示“数据超时”。此时可能系统还在计算中,只是没有在较短时间内完成并且返回结果,此种情况时不能重复点击分析(因为上一个分析还未完成),一般需要稍等5分钟后,然后刷新页面查看分析结果即可出现。如果等待5分钟刷新后还未出现结果,建议提交人工客服反馈人工排查。