κ 統計量( 一致率の検定 )
例題:
「二人の評定者が判定した結果が表 1 のようにまとめられた。評定が同じかどうか検定しなさい。」
評定者B | |||||
---|---|---|---|---|---|
B1 | B2 | B3 | 合計 | ||
評定者A | A1 | 12 | 6 | 1 | 19 |
A2 | 3 | 19 | 4 | 26 | |
A3 | 2 | 5 | 34 | 41 | |
合計 | 17 | 30 | 39 | 86 |
R による解析:
> x <- matrix(c( + 12, 6, 1, + 3, 19, 4, + 2, 5, 34 + ), byrow=T, ncol=3) > kappa.stat(x) # この関数の定義を見る kappa sigma-kappa sigma-kappa-0 95% lcl 95% ucl 6.152535e-01 7.299153e-02 8.181292e-02 4.721927e-01 7.583143e-01 Z value P value 7.520249e+00 2.733609e-14
κ 統計量( 一致率の検定 )
例題:
「二人の評定者が判定した結果が表 1 のようにまとめられた。評定が同じかどうか検定しなさい。ただし,評定の違いに対して,表 5 のような重みをつけなさい。」
評定者B | |||||
---|---|---|---|---|---|
B1 | B2 | B3 | 合計 | ||
評定者A | A1 | 12 | 6 | 1 | 19 |
A2 | 3 | 19 | 4 | 26 | |
A3 | 2 | 5 | 34 | 41 | |
合計 | 17 | 30 | 39 | 86 |
評定者B | ||||
---|---|---|---|---|
B1 | B2 | B3 | ||
評定者A | A1 | −− | 1 | 3 |
A2 | 1 | −− | 1 | |
A3 | 3 | 1 | −− |
R による解析:
> x <- matrix(c( + 12, 6, 1, + 3, 19, 4, + 2, 5, 34 + ), byrow=T, ncol=3) > w <- matrix(c( + 0, 1, 3, + 1, 0, 1, + 3, 1, 0 + ), byrow=T, ncol=3) > kappa.stat(x, w) # この関数の定義を見る kappa-w sigma-kappa-w sigma-kappa-w0 95% lcl 95% ucl 6.932629e-01 6.865739e-02 1.126106e-01 5.586969e-01 8.278289e-01 Z value P value 6.156284e+00 3.723580e-10
κ 統計量( 一致率の検定 )
二人の評定者の判定結果がどの程度一致しているかを表す指標と,一致率に関する検定と推定を行う。
例題:
「二人の評定者が判定した結果が表 1 のようにまとめられた。評定が同じかどうか検定しなさい。」
評定者B | |||||
---|---|---|---|---|---|
B1 | B2 | B3 | 合計 | ||
評定者A | A1 | 12 | 6 | 1 | 19 |
A2 | 3 | 19 | 4 | 26 | |
A3 | 2 | 5 | 34 | 41 | |
合計 | 17 | 30 | 39 | 86 |
検定手順:
- 前提
- 帰無仮説 H0:「一致率が 0 である(評定結果は一致していない)」。
- 対立仮説 H1:「一致率は 0 ではない(評定結果は一致している)」。
- 有意水準 α で両側検定を行う(片側検定も定義できる)。
- 評定者 A,B の評定結果を表 2 のようにまとめる。Oij は,評定者 A が i という評定,評定者 B が j という評定をしたケース数である。計算に必要なのは対角線上の桝目の期待値(色を付けたもの)だけである。
表 2.二人の評定者の評定結果
k × k 分割表( 観察数 )評定者B B1 B2 … Bk 合計 評定者A A1 O11 O12 … O1k O1・ A2 O21 O22 … O2k O2・ : : : … : : Ak Ok1 Ok2 … Okk Ok・ 合計 O・1 O・2 … O・k n
- 評定者 A,B の評定が独立であると仮定すると,各桝目の期待値 Eij は次式のように表される。計算に必要なのは対角線上の桝目の期待値(色を付けたもの)だけである。
表 3.二人の評定者の評定結果
k × k 分割表( 期待値 )評定者B B1 B2 … Bk 合計 評定者A A1 E11 E12 … E1k E1・ A2 E21 E22 … E2k E2・ : : : … : : Ak Ek1 Ek2 … Ekk Ek・ 合計 E・1 E・2 … E・k n
例題では,表 4.二人の評定者の評定結果 評定者B B1 B2 B3 合計 評定者A A1 3.756 6.628 8.616 19 A2 5.140 9.070 11.791 26 A3 8.105 14.302 18.593 41 合計 17 30 39 86
- 表 2 での評定者 A,B の一致率 Po,Pe は,次式のように表せる。
例題では,
Po = ( 12 + 19 + 34 ) / 86 = 0.75581,
Pe = ( 17・19 / 86 + 30・26 / 86 + 39・41 / 86 ) / 86 = 0.36533 である。
- Qo = 1 - Po,Qe = 1 - Pe とすると,κ統計量は次式で求められる。
例題では,Qo = 1 - 0.75581 = 0.24419,Qe = 1 - 0.36533 = 0.63467,
κ = ( 0.75581 - 0.36533 ) / ( 1 - 0.36533 ) ≒ 0.61525 である。
- κの標準誤差は 2 種類定義される。1 つは,κ の信頼区間を求めるための σκ,もう 1 つは κ が 0 であるかどうかの検定を行うための σκ0 である。
例題では,σκ = 0.07299,σκ0 = 0.08181 である。
- κ 統計量の ( 1 - α ) 100 % 信頼区間は,上側確率が α / 2 に対応する正規分布のパーセント点を Zα / 2 とすると,次式で表される。
例題では,95% 信頼限界を求めるので α = 0.05,したがって Zα / 2 = 1.96 であるから,0.61525 ± 1.96・0.07299,すなわち信頼区間は [ 0.47219, 0.75831 ] である。
- κ が 0 であるかどうかの検定は,次式で求められる Z が,正規分布に従うことを利用する。
例題では,Z = 0.61525 / 0.08181 = 7.52047 となる。
- 有意確率を P = Pr{|Z|≧ Z0 }とする。
正規分布表,または正規分布の上側確率の計算を参照すること。
例題では,P < 0.0001 である。
- 帰無仮説の採否を決める。
- P > α のとき,帰無仮説を採択する。「一致率が 0 でないとはいえない(評定結果が一致しているとはいえない)」。
- P ≦ α のとき,帰無仮説を棄却する。「一致率は 0 ではない(評定結果は一致している)」。
例題では,有意水準 5% で検定を行うとすれば(α = 0.05),P < α であるから,帰無仮説を棄却する。すなわち,「評定結果は一致している」という結論になる。
重み付け κ 統計量
- 上述の重み付けしない κ 統計量は,実際には対角線上の桝目( すなわち,両評定者が一致した評定をした場合 )の重みを 0,非対角線上の桝目( 評定が異なる場合 )の重みを 1 とした重み付け κ 統計量である。
もし,評定者 A が 1 と評定し評定者 B が 2 と評定した場合と,評定者 A が 1 と評定し評定者 B が 3 と評定した場合には,不一致の程度が異なると考える場合には,より不一致であると考える桝目の重みを大きくすればよい。
各桝目の重みを Wij ( Wii = 0,Wij > 0 )としたときは,重み付け κ 統計量は以下のように定義される。
- κw の信頼区間,κw = 0 の検定は重み付けなしの場合と同様に行う。
例題では,表 5 のような重みを付けて解析してみた。結果は以下の通り。
表 5.二人の評定者の違いに対する重み 評定者B B1 B2 B3 評定者A A1 −− 1 3 A2 1 −− 1 A3 3 1 −− κw ・・・・・・・・・・ 0.6932629
σκw ・・・・・・・・ 0.0686574
σκw0 ・・・・・・・ 0.1126106
Z値 ・・・・・・・・・ 6.1562841
有意確率 ・・・・・ < 0.0000001 **
95%信頼区間 [ 0.558697 , 0.827829 ]
Κ統計量と同じ種類の言葉
- Κ統計量のページへのリンク