Kappa一致性检验

  • 如果研究人员想要考察不同的诊断方法是否在结果上具有一致性;也或者两个医生对于同一病例做出病情判断上是否具有一致性;两个医生对于MRI检验结果的一致性情况;也或者两个评委的打分一致性情况。诸如此类,如果想对比两次数据的一致性情况,此时则需要使用Kappa一致性检验。

    Kappa一致性检验通常针对于定类数据;如果是定量数据的一致性,可考虑使用相关分析。Kappa一致性检验通常Kappa系数值衡量一致性水平。Kappa系数取值在0~1之间,通常情况下:Kappa <0.2则说明一致性程度较差;0.2~0.4之间说明一致性程度一般;0.4~0.6之间说明一致性程度中等;0.6~0.8之间说明一致性程度较强;0.8~1.0之间说明一致性程度很强。

    Kappa一致性共分为两类:简单Kappa和加权Kappa系数;SPSSAU默认使用简单Kappa系数。二者的区别说明如下:

    • 如果评价A、B两种方法对同一批样品的检验结果(轻度、中度、重度)的一致性;试想两种情景:A测试为轻度,而B测试为重度;也或者A测试为轻度,而B测试为中度;明显的,第1种情景时一致性水平会明显低于第2种情景。‘轻度’和‘重度’的距离,要远于‘轻度’和‘中度’的跨度距离。类似于此类数据,则需要使用加权kappa,加权kappa则考虑了上述中距离的远近。加权Kappa可细为线性和二次加权,如果是使用加权Kappa,一般是使用线性加权Kappa。

    • 即简单总结:如果研究数据是绝对的定类数据,此时使用简单Kappa系数;如果数据为等级式定类数据(比如轻度,中度,重度;也或者不同意,中立,同意);此时可使用加权(线性)Kappa系数。

    SPSSAU操作截图如下:

Kappa一致性检验案例

  • 1、背景

    两个医生分别对于50个病例进行MRI检查;需要对比两名医生检查结果诊断的一致性水平;MRI检查诊断共分三个等级,分别是轻度,中度和重度。

  • 2、理论

    Kappa一致性检验用于测量数据一致性水平。Kappa系数取值在0~1之间,通常情况下:Kappa <0.2则说明一致性程度较差;0.2~0.4之间说明一致性程度一般;0.4~0.6之间说明一致性程度中等;0.6~0.8之间说明一致性程度较强;0.8~1.0之间说明一致性程度很强。

    Kappa一致性共分为两类:简单Kappa和加权Kappa系数;SPSSAU默认使用简单Kappa系数。二者的区别说明如下:

    • 如果研究数据是绝对的定类数据,此时使用简单Kappa系数;如果数据为等级式定类数据(比如轻度,中度,重度;也或者不同意,中立,同意);此时可使用加权(线性)Kappa系数。

  • 3、操作

    两个医生的MRI检查结果诊断分别会有三种结论,轻度,中度和重度,因此3*3共有9处组合;单独使用一列数据表示每种组合的数量(即权重),数据结构如下表(数字1表示轻度,2表示中度,3表示重度):

    A医生 B医生 权重(病例个数)
    1 1 8
    1 2 2
    1 3 0
    2 1 0
    2 2 17
    2 3 3
    3 1 0
    3 2 5
    3 3 15

    上述结构中,A医生和B医生同时给出轻度为8例;同时给出中度为17例。同时给出重度为15例。其余均为不同的诊断结论,比如A医生诊断为轻度而B医生诊断为中度的病例为2例。

    由于上述数据结构中使用‘权重’加权表示,因而在放置分析项时,应该将权重放在‘加权项’处,如下图所示:

    如果说数据没有‘加权’,即共50个病例,总共50行;并且只有2列,分别表示A医生或者B医生的诊断结果;此时则没有加权数据,也不需要进行加权项放置。

  • 4、SPSSAU 输出结果

    Kappa系数结果表格
    名称 Kappa值 Z值 P 95%CI(下限) 95%CI(上限) ASE
    A医生 & B医生 0.684 6.611 0.000 0.505 0.862 0.103
    • 特别提示
    • Kappa一致性检验,事实上结论中仅Kappa值最重要,只需要用该值进行一致性水平判断。

  • 5、文字分析

    具体文字分析例子如下:

    从上表格可以看出,A医生和B医生对于50个病例MRI检验结果的一致性水平情况。MRI诊断分为三级分别是轻度,中度和生度。使用SPSSAU软件进行分析,从上表可以看到,检验结果呈现出显著性(Z=6.611,P=0.00 <0.01),意味着Kappa系数值明显偏差0,说明具有一定的一致性水平;具体上看,Kappa系数值为0.684(95%CI: 0.862~0.103),介于0.6~0.8之间,意味着一致性水平较强;说明A医生和B医生对于MRI检查诊断结论上有着较强的吻合性。

  • 6、剖析

    Kappa一致性检验需要特别注意两点,分别是Kappa系数是否加权,以及数据结构。

    • 如果数据为定类,则使用简单Kappa系数即可;如果数据为有等级的定类数据(比如轻度,中度和重度这类有等级区别的类别数据),此时使用加权Kappa系数(通常使用线性加权)。

    • 数据结构中如果有权重,此时应该进行加权处理(分析时将权重项放入对应框中即可)。

    关于‘加权数据格式’的详细说明参考:https://spssau.com/front/spssau/helps/otherdocuments/dataformat.html