在医学研究中,通常可使用ROC曲线并且使用AUC指标值来直观对比两个模型的预测能力,除此之外,还可使用NRI和IDI指标来对比两个模型(新旧模型)的预测能力情况。NRI指标:Net Reclassification Improvement Index,净重分类改善指数,IDI指标:Integrated Discrimination Improvement,综合判别改善指数。为更好的理解这两个指标,下述会对具体阐述其计算公式。新旧模型的预测能力是否有得到提升,首先需要提供金标准,基于金标准后进行判断两个模型的预测类别是否有得到改善。首先定义两个变量,如下:
Na:阳性即金标准为1的个数;
Nb:阴性即金标准为0的个数。
基于新旧模型的gap值(gap值=新模型预测值减去旧模型预测值),以及金标准切割出来的类别情况进行下述4个指标的计算,如下:
N_up_ev:金标准为阳性,确实gap值为阳性(gap>0)个数;
N_up_ne:金标准为阴性,但gap值为阳性(gap>0)个数;
N_down_ev:金标准为阳性,但gap值为阴性(gap<0)个数;
N_down_ne:金标准为阴性,确实gap值为阴性(gap<0)个数。
上述4个指标为个数指标,接着可计算比例性指标,如下:
P_up_ev:N_up_ev的比例,即N_up_ev除以Na;
P_up_ne:N_up_ne的比例,即N_up_ne除以Nb;
P_down_ev:N_down_ev的比例,即N_down_ev除以Na;
P_down_ne:N_down_ne的比例,即N_down_ne除以Nb。
最后进行NRI指标计算,并且还可分别得到阳性或阴性时分别的NRI指标,如下:
NRI_ev(阳性时NRI值)= P_up_ev - P_down_ev
NRI_ne(阴性时NRI值)= P_down_ne - P_up_ne
NRI(整体时NRI值)=(P_up_ev - P_down_ev) + (P_down_ne - P_up_ne)
从上述公式可以看到:阳性时NRI值指阳性时,金标准为阳性时的比例 减去 误判为阴性的比例,即体现出阴性时预测类别能力的提升,阴性时类似,而NRI指标是整合综合指标值,其表示整体正确判断减去误判的整体提升情况,即阳性NRI和阴性NRI之和。
除此之外,IDI指标 = 阳性时提高值 – 阴性时减少值,阳性时提高值=金标准为阳性时对应gap值的平均值,阴性时减少值=金标准为阴性时对应gap值的平均值,其并非是类别的比例提升判断,而是对Gap值平均值的整体计算指标值,因而其称作‘综合判别改善指数’,而NRI称作‘净重新分类改善指标’。
针对NRI和IDI指标来看,二者大于0时均意味着新模型有着良好的提升,反之小于0时意味着新模型预测能力变得更糟糕。
当前有一份20个临床样本得到的两次预测值记录值,现希望针对两次模型的预测能力是否提升进行分析,数据如下图所示:
上图可以看到,old_model表示旧模型的预测值,new_model表示新模型的预测值,无论新模型还是旧模型预测值,其均介于0~1之间,gold_std表示金标准,其只有0和1两个数字。
SPSSAU进行NRI和IDI指标计算时,参考文献如下:
1. Pencina MJ, D'Agostino RB Sr, Steyerberg EW. Extensions of net reclassification improvement calculations to measure usefulness of new biomarkers.Stat Med. 2011 Jan 15;30(1):11-21.doi: 10.1002/sim.4085. Epub 2010 Nov 5. PMID: 21204120; PMCID: PMC3341973.
2. Kerr KF, Wang Z, Janes H, McClelland RL, Psaty BM, Pepe MS. Net reclassification indices for evaluating risk prediction instruments: a critical review. Epidemiology. 2014 Jan;25(1):114-21. doi: 10.1097/EDE.0000000000000018. PMID: 24240655; PMCID: PMC3918180.
3. Pencina MJ, D'Agostino RB Sr, D'Agostino RB Jr, Vasan RS. Evaluating the added predictive ability of a new marker: from area under the ROC curve to reclassification and beyond. Stat Med. 2008 Jan 30;27(2):157-72; discussion 207-12. doi: 10.1002/sim.2929. PMID: 17569110.
4. Confidence Intervl is calculated referred to: https://cdn-links.lww.com/permalink/ede/a/ede_25_1_2013_09_25_kerr_ede13-166_sdc1.pdf
本例子中操作截图如下,旧模型或新模型预测值放入,并且放入金标准项,跳跃幅度默认为0。
上图中旧模型预测值,新模型预测值,通常来自于比如‘二元Logit回归’的预测值、‘Cox回归’保存的风险函数等。跳跃幅度参数:其指gap值(新模型预测值 减去 旧模型预测值)时,到底差值为多少才能说明类别变化,默认是0值即可,如果没有特别的理由则默认应该为0即可。
NRI和IDI分析一共输出3个表格,分别是NRI和IDI指标结果,NRI指标中间计算过程值和IDI指标中间计算过程值。
上表格展示NRI指标值(且分别阳性或阴性时),以及IDI指标值,上表格中NRI为百分比指标,而且NRI指标值小于0,意味着模型预测能力在下降而不是上升。此时IDI指标值也有着同样的作用,该值为负数-0.442,也即说明模型预测能力在下降。
上表格展示NRI中间计算过程值,研究者可结合指标意义进行理解即可。类似地,IDI指标的中间过程值也进行输出,如下表格。
NRI和IDI分析涉及以下几个关键点,分别如下:
默认为0即可,其表示新旧模型差值gap到底多少时代表预测类别的变化,默认为0即可。