初めて統計的検定を知ったとき、釈然としませんでした。なんだか回りくどいことしているという印象でした。検定は次のように説明されます。
コインを１０回投げたら表が２回出た。このコインは偏りがないと言えるか。
これを検定するために、偏りがないという帰無仮説H0（表の出る確率p=0.5）の元で、実現値x=0,1,2,8,9,10になる確率Pを求める。その確率が有意水準以下ならばH0を棄却する。
何故、直接、実現値xのときにH0が成立する確率を求めないのかと思いましたよ。その確率が小さければ、H0を棄却するとした方が分かり安いです。しかし、少し考えると、その確率の計算は簡単には出来そうにないことがわかりました。この確率は下図のP(H0|x)=①/（①＋③）ですが、P(H0)やP(x)が簡単にはわかりません。分かったとしても、P(H0)はコインの表の出る確率pが0～1のうち0.5というピンポイントの値になる確率ですから、０になってしまいます。計算するには、ピンポイントではなく、0.49～0.51になる確率とする必要があります。面倒なのです。
というような事情で、P(H0|x)の代わりにP(x|H0)=①/（①＋②）を用いているわけで、このP(x|H0)がなにかと話題になる「P値」です。これを、帰無仮説が成り立つ確率と解釈して、その値が小さいなら帰無仮説を棄却すると説明されることが有りますが、間違いですね。今までの説明の通り、正しくは、帰無仮説が成り立つ場合にｘが起こる確率です。
P(H0|x)（xが起こった場合にH0が成り立っている確率）とP(x|H0)（H0が成り立つ時にxが起こる確率）では前後がひっくり返っていますが、なんとなく代用できるような感じがあり、実際に代用できる場合が多いので使われているのでしょう。
なんとなく代用できる感じがするのは、背理法的だからかもしれません。H0を仮定したら、非常に確率が小さいことが起こったことになるので、仮定を棄却すると考えてもよさそうな感じがします。しかし、起こりえないことが起こったのではなく、確率の小さいことが起こっただけに過ぎません。さらに、ｘが起こる確率P(x|H0)が小さくても帰無仮説が成り立つ確率P(H0|x)が小さいとも限りません。P(H0|x)は図の①/（①＋③）ですが、③が0ならば、100%になります。
Ｐ値を用いて検定する時には、いろいろ注意事項があるようです。
