转载 一致性检验--Kappa系数 kappa一致性分析

原文地址:一致性检验--Kappa系数作者:hhshnsq

一、Kappa 检验方法

在做数据分析时,我们经常会面临一致性检验问题,即判断不同的模型或者分析方法在预测结果上是否具有一致性、模型的结果与实际结果是否具有一致性等。另外,一致性检验在临床实验中也有着广泛的应用。对于两个或多个医务工作者对同一病人给出的诊断结论进行一致性检验,英文叫interrater reliability; 对同一医务工作者多次诊断结论的一致性检验,英文叫 intraraterreliability。


摘自:http://wenku.baidu.com/view/f1061c165f0e7cd18425361d.html

二、计算方法

Kappa 系数有带加权和不带加权两种计算方法,分别对应 SAS的简单Kappa系数加权Kappa系数(Simple KappaCoefficient, Weighted Kappa Coefficient)。

先看不带加权的公式:








带加权的公式:

注:线性权重和平方权重分别对应SAS中的Cicchetti-Allison权重Fleiss-Cohen权重,默认情况下使用Cicchetti-Allison权重

以上公式来自 http://www.physther.org/content/85/3/257.full(英文资料,介绍地比较全面)

三、统计检验方法

Kappa只是一个统计量,存在抽样误差。Kappa/ASE近似服从标准正态分布,据此可以得出Kappa 统计量的置信区间。

四、如何使用 SAS 做 Kappa 分析?

1)两种评测方法评分范围一致的情况

data equalranges;
inputrater1rater2;
datalines;
11
12
12
11
22
22
21
22
;
run;

proc freq data=equalranges;
tables rater1*rater2/agree nopercent nocolnorow;
run;

输出结果:



注:对于 2*2 的列联表,加权Kappa系数等于简单Kappa系数。SAS FREQ过程步只有当列联表大于2*2表时才显示加权Kappa系数。

(For 2*2 tables, the weighted kappa coefficient equals thesimple kappa coefficient. PROC FREQ displays the weighted kappacoefficient only for tables larger than 2*2.)

2)两种评测方法评分范围不一致的情况 -- 使用 Weight 语句加 zeros 选项 (请参考 UCLA大学的网站:http://www.ats.ucla.edu/stat/sas/faq/kappa.htm)

data unequalranges;
inputrater1rater2;
datalines;
11
11
11
11
22
22
22
22
32
32
32
32
;
run;

data unequalranges;
if _n_=1 then do;
rater1 =3;
rater2 = 3;
weight = 0;
output;
end;
set unequalranges;
weight = 1;
output;
run;

proc freq data=unequalranges;
tables rater1*rater2;
test kappa;
weight weight / zeros;
run;

输出结果:

SAS 的 FREQ 过程步可用于 Kappa一致性检验,代码共有两种写法,数值都一样,只是分析结果的展现形式不太一样。

TEST KAPPA 语句

proc freq data= unequalranges;
tables rater1*rater2;
[转载]一致性检验--Kappa系数 kappa一致性分析
test kappa;
weight weight / zeros;
run;

输出结果:

TABLES 语句中的 AGREE 选项
proc freq data= unequalranges;
tables rater1*rater2/agreenopercent nocol norow;
weight weight / zeros;
run;

输出结果:



下面的代码仅用于手算验证简单KAPPA系数的计算结果(理解任何一种计算公式的最好办法是手算一遍,当然要基于小数据来计算):
ods output simplekappa = simplekappa;
proc freq data= unequalranges;
tables rater1*rater2/agree nopercent nocolnorow;
weight weight / zeros;
run;


data kappa_diy;
set simplekappa(keep=label1 nvalue1);
where label1='ASE';
po=(4+4)/12;
pe=(4*4+8*4)/12**2;
kappa = (po-pe)/(1-pe);
kappa_lower = kappa+probit(0.025)*nvalue1;
kappa_upper = kappa+probit(0.975)*nvalue1;
put _all_;
run;

输出结果:

Label1=ASE nValue1=0.155902

po=0.6666666667

pe=0.3333333333

kappa=0.5

kappa_lower=0.1944369283
kappa_upper=0.8055630717

下面介绍一下如何将 Kappa 统计量保存在 SAS 数据集中便于后续的分析和使用。

1) 保存简单Kappa系数

ods output SimpleKappa = SimpleKappa;


2) 保存加权Kappa系数
ods output WeightedKappa = WeightedKappa;

代码如下:

ods output SimpleKappa = SimpleKappa;
ods output WeightedKappa = WeightedKappa;
proc freqdata= unequalranges;
tables rater1*rater2;
test kappa;
weight weight / zeros;
run;

五、经验

1) Weighted kappa penalizes disagreements interms of their seriousness, whereas unweighted kappa treats alldisagreements equally. Unweighted kappa, therefore, is inappropriate for ordinalscales.

2) Landis and Koch45 have proposed thefollowing as standards for strength of agreement for the kappacoefficient:

≤0=poor,

.01–.20=slight,

.21–.40=fair,

.41–.60=moderate,

.61–.80=substantial,

and .81–1=almost perfect.


六、参考资料

http://www.cis.udel.edu/~carberry/CIS-885/Papers/DiEugenio-Kappa-Second-Look.pdf

http://www.agreestat.com/research_papers/kappa_statistic_is_not_satisfactory.pdf

http://www.chestx-ray.com/statistics/kappa.html

http://david.abcc.ncifcrf.gov/helps/linear_search.html

http://rss.acs.unt.edu/Rdoc/library/epicalc/html/kap.html(R,我这里就不介绍了,大家有兴趣的自己看看)

  

爱华网本文地址 » http://www.413yy.cn/a/25101018/370870.html

更多阅读

独立样本T检验如何操作和分析结果 spss独立样本t检验

独立样本T检验如何操作和分析结果——简介?独立样本T检验用于比较两个独立的样本的平均数是否有差异,他需要数据的总体符合正态分布所以在进行T检验前要先对数据进行正态性检验,下面是我们这个T检验的操作方法和分析方法:独立样本T检

转载 “余额宝”与“活期宝”比较分析 余额宝与活期宝的区别

有意愿的朋友,不妨看看此文。对你的资金管理会有点帮助的。原文地址:“余额宝”与“活期宝”比较分析作者:树须“余额宝”和“活期宝”作为创新型理财工具,自推出以来,备受关注。虽然这两种工具都宣传获得超出“活期存款”多少倍的收益,但

转载 用友软件研发支出财务分析 研发支出加计扣除

原文地址:用友软件研发支出财务分析作者:51kuaiji用友软件研发支出财务分析在传统的财务分析和会计报表披露将研发支出进行了很细线条的披露。特别是研发支出在我国的会计处理中对大多数进行了费用化的处理,在上市公司的相关年报中披

§3回归方程及回归系数的显著性检验 回归系数显著性t检验

转1、回归方程的显著性检验(1) 回归平方和与剩余平方和  建立回归方程以后,回归效果如何呢?因变量与自变量是否确实存在线性关系呢?这是需要进行统计检验才能加以肯定或否定, 为此,我们要进一步研究因变量取值的变化规律。的每次

浅谈“弹性系数”和“离散系数” 离散系数公式

浅谈“弹性系数”和“离散系数”在税收分析中的运用侯永强税收分析方法及运用的工具很多,这里仅就对“弹性系数”和“离散系数”在税收分析中的运用谈一点体会。(一)西方经济界通过对弹性理论及其运用的研究,为协调供需关系,解决供需矛盾

声明:《转载 一致性检验--Kappa系数 kappa一致性分析》为网友蜕变後分享!如侵犯到您的合法权益请联系我们删除