ベイズ推定自体がどうのこうのではないのですが，それに付いての解説文を読むと，よく分からなくなってきます。少しかじっただけで，まともに勉強していないせいかもしれません。「通俗解説なんか読まずに，ちゃんとした教科書で勉強しろ。学問に王道なし」と言われそうですが，疑問について述べてみます。
ベイズ確率は，従来の確率とは違う主観的確率であるというような説明がされます。なにやら難解で哲学的な説明も目にします。でも，そんな大層な話なのでしょうかね。もっと単純なことではないかという気がします。推定のための応用手法の一つに過ぎなくて，確率の概念の修正を迫られるような話ではないのじゃないかと。
最初に，次のリンク先を読んで下さい。
5分でわかるベイズ確率
http://www.slideshare.net/hoxo_m/5-28064011
問題を再掲すると，下記の通りです。
問１：歪みのないコインを3回投げたら，3回とも表が出た。4回目に表が出る確率と裏が出る確率はどちらが高いか。
→答え：同じ
問2：商店街の交通量調査で，最初の3人は男性であった。4人目が男性である確率と女性である確率のどちらが高いか。
→答え：男性（3人男性だったのでこの商店街は男性の通行人が多いと推測）
リンク先では，問１は従来の確率の考え方で，問２はベイズ確率の考え方であるというような説明をしています。でも，そんな風に考えなくても，問1は「歪みのないコイン」という条件が付いているから，「同じ」という答えで，問2ではそのような条件（事前確率）が不明なので，「分からない」と言うだけじゃないでしょうか。現実問題において「分からない」では困るので，適当に「事前確率」を設定する手法がベイズ推定じゃないでしょうか。
問２は，４人目が男性である確率が高そうであるという推測は出来ますが，その程度は不明です。この推測は考え方（適当な仮定を設定するということ）次第でいかようにも出来ます。最も単純な考え方では，３人中３人が男性だったので，商店街の男性比率も3/3で１００％と推測する考え方もあります。
別の少し奇妙な考え方に次の様なものがあります。日本の各商店街の男性比は，1/2か1/1のどちらかとし，その割合は１：１だと仮定します。これは全く恣意的な仮定で何の根拠もありません。ともかく，そうだとしてある商店街で３人続けて男性を観測場合には，その商店街の男女比が1/2である確率はいくらになるかを推測します。
この様に，事前確率を決めれば，ベイスの定理を使って解くことができます。男性比が1/2である事前確率が1/2であるとき，３人続けて男性が通過した場合の事後確率はいかに，という問題になります。
ベイズの定理は次の式で表されます。
P(B/A)={P(A/B)・P(B)}/P(A)
P(B/A):事象Aの元での事象Bの確率（事後確率）
P(B) ：事象Bの確率（事前確率）
この問題では，
事象Aを男性が3回続けて通ることとします。
事象Bを男性比が1/2であることとします。
問題の条件から，P(B)=1/2
男性が３人通過する確率は，男性比が1/2の場合は(1/2)^3=1/8=P(A/B)で，男性比が1/1の場合は
(1)^3=1,ですから，
P(A)=1/2・1/8＋1/2・1=9/16
よって，
P(B/A)=(1/8・1/2)/(9/16)=1/9
となります。
以上の説明を図に表したのが下図です。
男性比1/2と1/1の確率は同じですから，その場合の数は，どちらも同じ８つで表現しています。男性比1/2の場合３回続けて男になる確率は1/8で，男性比1/1では，1/1です。従って，３回続けて男の場合のうち，男性比1/2の割合は,1/9となります。これがベイズの定理が示している事後確率の意味です。この枠組みが変わらなければ，４人目が男である確率は，1/2・1/2+1/2・1/1=3/4で変化しません。
以上は従来の確率で理解出来る話で奇妙な点は何も有りません。ただ，この場合の事前確率の設定は単純すぎて不自然ですので，現実問題では，もっともらしい設定にすべきでしょうが。
ところが，ベイス推定（ベイス確率ではない）では，事後確率1/9を次の段階の事前確率とみなすと言うことをします。図の上半分だけに枠組みを限定してしまうわけです。この様にして良いという保証はありません。というか，事前確率を仮定して起きながら，それを変えてしまうのですから全く筋が通らないと言えないこともありません。とはいえ，そもそも事前確率が分からないので適当に仮定しただけなので，それに拘る必要もないのかもしれません。そして，これを繰り返していくと，0に近づいていきます。つまり男女比1/1ということになり，最も単純な推定で3/3と推測したものと同じになります。
事前確率と事後確率が一致するということは，簡単に言えば，母集団の確率と観測（サンプル）データの確率が同じということです。つまり，３人中３人が男性だったから，母集団も１００％男性と考えることと同じような気がします。だとしたら，妙に回りくどいことをしているような気がしないでもありません。厳密に考えると，同じでは無いかもしれませんが，よくわかりません。
それはともかく，現実の応用問題では，条件不足で厳密な解答が得られない場合が多いのですが，それでは困るので，適当な条件を設定（仮定）することが良くあります。その設定をどのようにするかは様々な流儀がありますが，ベイズ推定もその一つではないでしょうか。
それだけのことじゃないかと思えるのですが，私が深い意味を理解していないだけかも。
