ud730ネタ。
training set, validation set, test setと分ける意味がイマイチ分からんかった。
training set, test setだけでいーんじゃね？と。
training setでfittingしてモデルをチューニングするんだから、モデルは実質training setを丸暗記しているような状態だ。ここでvalidation setで検証を行いパラメータ調整を行うと、実質validation setを追加で丸暗記したような状態になる。
とすれば、チューニング中に結局はtraining set+validation setでfittingしたような状態になるかもしれない。ここで最後にtest setでテストすることで、性能を見る。
教科書で慣らして、模試で具合を確かめて再調整し本試験に臨むようなものか。
模試を受けまくって何度も吟味して「よし完璧！」と思っても本試験で落ちることもある。模試の内容がすっかり頭に入ってしまって(over-fitting)、教科書と模試の結果だと既に100%の成果を出せるが、その外側の実際にどうでてくるか分からない本試験に臨むとノックアウトされてしまう。本来は未知のものに対応できるように一般化(generalization)されているべきなのにうっかりすべてをtraining setに取り込んでover-fittingしてしまうと、かえって一般のものでは成果が出せずに実際には劇的に低い結果になってしまうこともある、と。
