Kappa一致性检验

  • 如果研究人员想要考察不同的诊断方法是否在结果上具有一致性；也或者两个医生对于同一病例做出病情判断上是否具有一致性；两个医生对于MRI检验结果的一致性情况；也或者两个评委的打分一致性情况。诸如此类，如果想对比两次数据的一致性情况，此时则需要使用Kappa一致性检验。

    Kappa一致性检验通常针对于定类数据；如果是定量数据的一致性，可考虑使用相关分析。Kappa一致性检验通常Kappa系数值衡量一致性水平。Kappa系数取值在0～1之间，通常情况下：Kappa <0.2则说明一致性程度较差；0.2~0.4之间说明一致性程度一般；0.4~0.6之间说明一致性程度中等；0.6~0.8之间说明一致性程度较强；0.8~1.0之间说明一致性程度很强。

    Kappa一致性共分为两类：简单Kappa和加权Kappa系数；SPSSAU默认使用简单Kappa系数。二者的区别说明如下：

    • 如果评价A、B两种方法对同一批样品的检验结果（轻度、中度、重度）的一致性；试想两种情景：A测试为轻度，而B测试为重度；也或者A测试为轻度，而B测试为中度；明显的，第1种情景时一致性水平会明显低于第2种情景。‘轻度’和‘重度’的距离，要远于‘轻度’和‘中度’的跨度距离。类似于此类数据，则需要使用加权kappa，加权kappa则考虑了上述中距离的远近。加权Kappa可细为线性和二次加权，如果是使用加权Kappa，一般是使用线性加权Kappa。

    • 即简单总结：如果研究数据是绝对的定类数据，此时使用简单Kappa系数；如果数据为等级式定类数据（比如轻度，中度，重度；也或者不同意，中立，同意）；此时可使用加权（线性）Kappa系数。

    • 除此之外，如果希望对比2项以上的一致性，比如3个医生的诊断一致性，此时应该使用fleiss Kappa，下拉框选中该参数即可。

    SPSSAU操作截图如下:

Kappa一致性检验案例

  • 1、背景

    两个医生分别对于50个病例进行MRI检查；需要对比两名医生检查结果诊断的一致性水平；MRI检查诊断共分三个等级，分别是轻度，中度和重度。

  • 2、理论

    Kappa一致性检验用于测量数据一致性水平。Kappa系数取值在0～1之间，通常情况下：Kappa <0.2则说明一致性程度较差；0.2~0.4之间说明一致性程度一般；0.4~0.6之间说明一致性程度中等；0.6~0.8之间说明一致性程度较强；0.8~1.0之间说明一致性程度很强。

    Kappa一致性共分为两类：简单Kappa和加权Kappa系数；SPSSAU默认使用简单Kappa系数。二者的区别说明如下：

    • 如果研究数据是绝对的定类数据，此时使用简单Kappa系数；如果数据为等级式定类数据（比如轻度，中度，重度；也或者不同意，中立，同意）；此时可使用加权（线性）Kappa系数。

    • 除此之外，如果希望对比2项以上的一致性，比如3个医生的诊断一致性，此时应该使用fleiss Kappa，下拉框选中该参数即可。

  • 3、操作

    两个医生的MRI检查结果诊断分别会有三种结论，轻度，中度和重度，因此3*3共有9处组合；单独使用一列数据表示每种组合的数量（即权重），数据结构如下表（数字1表示轻度，2表示中度，3表示重度）：

    A医生 B医生 权重（病例个数）
    1 1 8
    1 2 2
    1 3 0
    2 1 0
    2 2 17
    2 3 3
    3 1 0
    3 2 5
    3 3 15

    上述结构中，A医生和B医生同时给出轻度为8例；同时给出中度为17例。同时给出重度为15例。其余均为不同的诊断结论，比如A医生诊断为轻度而B医生诊断为中度的病例为2例。

    由于上述数据结构中使用‘权重’加权表示，因而在放置分析项时，应该将权重放在‘加权项’处，如下图所示：

    如果说数据没有‘加权’，即共50个病例，总共50行；并且只有2列，分别表示A医生或者B医生的诊断结果；此时则没有加权数据，也不需要进行加权项放置。

  • 4、SPSSAU 输出结果

    Kappa系数结果表格
    名称 Kappa值 标准误(假定原假设) z 值 p 值 标准误 95% CI
    A医生 & B医生 0.684 0.103 6.611 0.000** 0.091 0.505~0.862
    • 特别提示

    • Kappa一致性检验，事实上结论中仅Kappa值最重要，只需要用该值进行一致性水平判断。

  • 5、文字分析

    具体文字分析例子如下：

    从上表格可以看出，A医生和B医生对于50个病例MRI检验结果的一致性水平情况。MRI诊断分为三级分别是轻度，中度和生度。使用SPSSAU软件进行分析，从上表可以看到，检验结果呈现出显著性（z =6.611,p =0.00 <0.01）,意味着Kappa系数值明显偏差0，说明具有一定的一致性水平；具体上看,Kappa系数值为0.684，介于0.6~0.8之间，意味着一致性水平较强；说明A医生和B医生对于MRI检查诊断结论上有着较强的吻合性。

  • 6、剖析

    Kappa一致性检验需要特别注意两点，分别是Kappa系数是否加权，以及数据结构。

    • 如果数据为定类，则使用简单Kappa系数即可；如果数据为有等级的定类数据（比如轻度，中度和重度这类有等级区别的类别数据），此时使用加权Kappa系数（通常使用线性加权）。

    • 数据结构中如果有权重，此时应该进行加权处理（分析时将权重项放入对应框中即可）。

    • 除此之外，如果希望对比2项以上的一致性，比如3个医生的诊断一致性，此时应该使用fleiss Kappa，下拉框选中该参数即可。

    关于‘加权数据格式’的详细说明参考：https://www.spssau.com/helps/otherdocuments/dataformat.html

疑难解惑

  • fleiss Kappa系数如何使用？

  • 如果说想对比2项以上的一致性（比如A疗法、B疗法、C疗法共3种疗法的一致性）；此时应该使用Felsis Kappa系数。简单Kappa和加权Kappa系数均是针对2项（比如A疗法和B疗法）的一致性检验。

  • fleiss Kappa系数不支持‘加权项’？

  • 如果是进行fleiss Kappa，即放置项超过2项时，此时SPSSAU不支持‘加权项’这种数据格式。

  • Kappa系数计算时出现2个标准误值？

  • 进行kappa系数计算时可能会出现2个标准误值，分别是‘标准误(假定原假设)’和‘标准误’，‘标准误(假定原假设)’是用于进行检验原假设（kappa值为0）时使用；而‘标准误’值是用于计算95% CI值使用；如果目的在于检验则报告‘标准误(假定原假设)’，如果仅报告kappa值和95% CI，则报告‘标准误’值；通常情况下是报告‘标准误’值即可。

  • Fleiss kappa的95%CI值如何计算？

  • Fleiss Kappa值95%C = Fleiss Kappa值 +/– 1.95996398454005 * 标准误差 / n，n代表评价对象个数即行数。