怪しい統計学

というか統計学が怪しい。
自分の理解も怪しいし、実は統計学自体が怪しいのではないか、と思い始めた。
いや、理論的に詰められる部分は怪しくないのだけれど、どうにもつめきれていないところも色々見えてくる。

非常に単純な話、不偏推定量としての平均や分散は標本値に左右されることなく、完全に理論的に導ける。
ところが正規分布最尤推定量の場合、平均は素直に理論的に導けるものの、分散となると実は標本値から推定された平均値を代入しないと求まらない。あれ?という感じ。
しかしおそらくそのあたりの違和感を記した教科書はない。

これが母分散が未知の場合の平均値の推定になると、当然t分布が出てくるのだけれど、なぜこのときにt分布、つまり分子が正規分布する確率変数、分母がχ二乗分布の確率変数の確率変数が出てくるのか、という説明を正確にしている教科書もたぶんほとんどない(こちらは理論的に怪しいということではないけれど、理論的な説明が非常に面倒というか意外に難しい)。
二項分布の極限として正規分布が求まる、という話も極限ではなくて、近似での説明となっており、どうにももやもやする。