ディープラーニングの本を読むと出てくるシグモイド関数。たいてい何の脈絡もなく出てくると思うのだけれど、伝統的にはこれはロジスティック回帰で出てくる関数。で、ロジスティック回帰で何故この関数が出てくるのか、というと、値の範囲が不定(-∞〜+∞を取り得る)のものと確率が取り得る0〜1をうまく結びつけてくれるから、という以上の意味はなさそうなのだ(一応仮定に基づいて導出する方法もあるようではあるが、カテゴリ変数も含んだ線型式なので、厳密ではない、と思う)。
そういう意味でディープラーニングでもシグモイド関数が出てくるのは既に皆がよく使っている関数なので、同様に-∞〜+∞を取り得る値を0〜1につなげるためのツールとしてたまたま用いられているに過ぎない。でもそうした説明も何も無しに出てくるので、ここでハテナ？となる人は出てこないのだろうか。
SoftMax関数も、何故こういう形にするのか、という解説がないことがほとんどで、意味も書いていないかな。これは指数関数の性質としてxが大きくなるに従って、その指数関数はものすごい速さで大きくなるので、元の入力の大きさの差を誇張するためだと思われる。でも何故か、これを書いていない。
