Neural Network ConsoleのCrossEntropy損失関数(ロス関数)の使い方
Neural Network Consoleの損失関数(ロス関数)の使い方の記録。
画像処理系はSquareErrorでもいいが、カテゴリ系はそんなわけにもいかないので。
入力データ次第で、ある程度決まった形になるので、記録として残しておく。
CategoricalCrossEntropyを使う場合
ラベルは、複数値のカテゴリインデックス。1列。
affineで適当な列数に変換した後、softmax -> CategoricalCrossEntropy
BinaryCrossEntropyを使う場合
ラベルは１か0の2値。
OneHot形式の2列の場合、affineで2列に変換した後、softmax -> BinaryCrossEntropy
1列の0/1の場合、affineで1列に変換した後、sigmoid(softmaxからsigmoidに訂正) -> BinaryCrossEntropy
補足
参考資料。softmaxではなくsigmoidの例。
レイヤーの層を単純に深くしても、精度は向上しないことを確認する／Neural Network Consoleの使い方 - "BOKU"のITな日常
