多重比較の方法には多くの種類があります。その多くは、各群のうちから1対(2群)を比較し、t検定(ノンパラメトリック検定の場合はマン・ホイットニーのU検定やウィルコクソンの符号付順位和検定など)によって、群間に有意な差があるかどうかを調べるものです。ここで採用しているライアンの方法も、このタイプになります。
基本的に、群の全組み合わせを比較することになりますので、3群の場合は3回、4群の場合は6回、5群の場合は10回……と検定回数が増えていきます。
これを手計算する場合は、平均値が最大の群と最小の群を比較し、ここに有意な差が出なければ、他の各群の間にも有意差はないと判断します。もし有意な差が出た場合は、平均値が大きな群と平均値が下から2番目の群の間を比較し……といったことを繰り返し、有意差が出なくなった時点で中止します。
ただしコンピューターを使えば、このような計算も大変ではありません。そこで本プログラムを含む多くの統計計算プログラムが、全組み合わせをまとめて比較しています。
最初(No.1)の検定では、平均値が最大の第2群と平均値が最小の第3群の間でt検定をしています。p値は0.008317...で0.01(1%)よりも小さいのですが、p値の後についた有意水準を表わす記号は、1%の有意水準を示す「**」ではなく、5%の有意水準を示す「*」になっています。
なぜ、こんな表記になるのでしょう?
その理由は、多重比較でt検定などを何度も繰り返すと、有意水準の判定で誤りが生じる危険があるからです。ライアンの方法による多重比較、および、名義的有意水準の計算方法について、もっと詳しく知りたい方は、以下のWebサイトを参考にしてください。
(参考Webサイト)
上の例の場合ですと、5%の名義的有意水準は0.016667になっています。つまり、この数値よりp値が小さいときのみ、5%水準で有意差があったことになります。また、1%水準で有意になるためにはp値が0.003333以下である必要があります。
したがって第2群と第3群の平均の差については、p値が0.008317と1%より小さい数字でありながら1%水準では有意にならず、5%水準(名義的有意水準は0.016667)で有意となるわけです。
No.3の第1群と第3群の間の検定は、5%水準の名義的有意水準が0.03333と、No.1の組み合わせの名義的有意水準の約2倍になっています。そのためp値が0.02458...でも5%水準で有意になっているわけです。
上の例ですと、No.1の第2群と第3群(p値=0.008317)、No.3の第1群と第3群(p値=0.024583)の組み合わせが「5%水準で有意」となります。いちおう「*、**、†、n.s.」の記号が表示されるようにしてありますので、論文などを書くときには、こちらも参考にしてみてください。