たとえば、コインを二回振る、といった簡単な現象でさえも、よく考えると、一体確率とはどういうものなのか、となりますね
これは，「歪みの無いコイン」のコメント欄のublftboさんの疑問です。
http://d.hatena.ne.jp/ublftbo/20131110/p1
実は，私にはublftboさんの疑問の真意はよく分からないのですが，勝手に，現実の現象に数学の理論を適用する際の疑問ということにして話を進めます。
「確率って何だ」という疑問に現代数学は「公理を満たすもの」という実につれない回答しかしません。確率理論が表している現実の現象はどのようなものかは，数学の関与するところではなく，数学を応用する側で考えるしかないでしょう。
ただ，確率の場合，何となく数学的な回答があるような気がしないでもありません。他の分野では，つれない回答でもあまり突き放された印象を受けません。幾何学でも「点」とは何かという質問に数学は「公理を満たすもの」としか回答しません。それでも，現実の現象としての「点」を常識的に判断でき，理論の応用もできるし，点の数学的意味なんかなくても別に困らないのですが，確率だと困るような気がしてきます。
確率の場合，「常識的に判断」が結構難しいです。というか，確率の理論の現実の現象への適用の仕方が一番厄介なところで，議論にもなる点です。モンティ・ホール問題など，同様に確からしいことが，常識に反するような場合が色々あります。それは，数学としての確率理論の問題ではなく，応用側の問題なのですが，なんとなく，確率理論に問題があるように感じてしまいます。
それは何故なのかというと，現実の確率現象が既に抽象的な概念だからではないでしょうか。「点」と見なせるものは現実に見ることができますが，明日の雨の確率は見ることができません。「明日の雨の確率」を定義するのは，数学側ではなくて，応用側の気象予報士なのですが，数学が定義してくれるように何となく感じてしまいます。気象予報士的には「この天気図と類似する過去の天気図100回のうち雨の降った回数」が雨の確率であって，天気図1枚1枚が同様に確からしいのかは，気象予報士が判断するしかありません。コインの裏と表の出る確からしさが同等なのかも，数学の管轄ではないわけです。
あえて，数学に結びつけるとすれば，現実の現象に数学的構造を見いだす数学的センスということかも知れません。ただし，それは数学理論ではないので，理詰めで説明できるようなものではないでしょう。
この，応用する側が自分で考えるしかないという感覚は，小学校の算数の応用問題で味わった筈です。文章問題を数式に表すわけですが，それには公式はありません。*1これは算数そのものの問題ではなくて，具体的問題に算数を適用する際の問題です。具体的問題に潜む構造を見抜き，それと類似する算数の構造を適用する必要があります。見抜くのはセンスであり，算数の公式で出来るような事ではありません。
りんご3個とミカン3個で果物何個？という問題に疑問を感じる子供もいるかも知れません。りんごとミカンを足し算できるの？と。そこを，りんごとミカンを一段階抽象化して同じ果物と考えれば，同じ1個と考えられます。
あるいは，同じりんごでも大きさが違うのに同じ1個と数えて良いのかという疑問を持つ子供もいるかも知れません。しかし，算数では，同じ1個とすればという前提から始まるわけで，同じ1個とみなして良いかどうかは，応用する側の実用上の都合で決めれば良いだけの話です。「1個とはなにか」という哲学的問題に算数は答えてくれません。そして，この哲学的問題が少し馬鹿げていることも分かりやすいと思います。しかし，「同じように確からしいとは何か」，「確率とは何か」となると，深淵な哲学的問題であるかのように思えて来ます。でも，「1個とはなにか」と同じように意味のない問いかけであると私は思います。
「同じように確からしいとは何か」という文章は言語として形式的に成立しており，実用的な観点からは意味もあります。しかし，数学的な観点からは，無意味な問でしょう。そういえば，歴史的な哲学的問題の多くは言語的ナンセンスであるとウィトゲンシュタインは主張した。というようなことをツチヤ教授（土屋賢二氏）がその著書で述べていました。関係ないかな。
*1:無理に公式的解法をひねり出そうとした悪例が「かけ算順序教育」かも。
