ベストアンサー
トレーニングエラーは、トレーニングされたモデルをトレーニングデータで実行したときに発生するエラーです。このデータはすでにモデルのトレーニングに使用されていることを忘れないでください。これは、トレーニングされたモデルがトレーニングデータ自体に適用されたときに正確に実行されることを必ずしも意味するものではありません。
テストエラーは次の場合のエラーです。トレーニング済みのモデルを、これまで公開されたことのないデータセットで実行すると、取得できます。このデータは、モデルが本番環境に出荷される前に、モデルの精度を測定するためによく使用されます。
回答
ニューラルネットワーク（NN）モデルで意図的にオーバーフィットを誘発するという考えです。これは、次の方法で実行できます。
- 非常に多数のパラメーターを持つ大きなモデルを使用する。十分な大きさNNには、ImageNetデータセット全体に適合するのに十分な自由度が必要です。
- ドロップアウト、L\_1、L\_2、バッチ正規化などの正規化を回避できます。正規化により、トレーニングエラーがわずかに増加するため、トレーニングエラーがゼロになる可能性が高くなります。正規化の形式を回避する必要があります。ただし、十分に正規化されたモデルでもtがゼロになる可能性があります。雨のエラー。
- 大きな学習率には実際には小さな正則化プロパティがあるため、小さな学習率を使用します。学習率が高い場合、パラメーターの更新が極小値を飛び回るので、モデルパラメーターは極小値に正確に落ち着くことができません。飛び回ると、モデルがトレーニングセットを記憶するのを防ぐことができるため、小さな学習率を使用することで、モデルは極小値に少し正確に落ち着くことができるため、モデルがトレーニングデータセットを記憶する可能性が高くなります。
- 非常に多くのトレーニングエポックでモデルを実行することにより、早期停止を回避します。早期停止には、大規模なトレーニングセットの記憶を妨げる可能性のある正則化効果もあります。
- 初期の重みはパラメータが落ち着く極小値を強く決定するため、異なる初期のランダムな重みでモデルをトレーニングします。一部の極小値では、ImageNetデータセット全体でゼロトレーニングエラーが有効にならない場合があるため、トレーニングエラーがゼロであるような極小値を慎重に検索する必要があります。
MNISTなどの比較的単純なデータセットでは一部のモデル100％のトレーニング精度を得ると同時に、99％以上のかなり良いテスト精度を得ることができます。このような場合、トレーニングエラーがゼロのモデルは過剰適合を意味しないことを示しています。
ただし、ImageNetのような非常に大規模で複雑なデータセットでトレーニングエラーがゼロになると、モデルが過剰適合していることを強く示している可能性があります。
他のモデルは、ImageNetデータセット全体を記憶するのに十分な容量で簡単に構築できます。k= 1のk最近傍（kNN）アルゴリズムのように、トレーニングエラーは簡単にゼロになります。機械学習（ML）プロセスではトレーニングセットを単に記憶することはレイジーラーニングと呼ばれ、トレーニングデータポイントとテストデータポイントの間にあまり変化がない場合に実際に重要です。
実際、kNNは非常に小さなパッチに対して非常にうまく機能します。 。ただし、より大きな解像度のパッチでは、kNNは関連する特徴を学習しないため、次元の呪いに悩まされます。したがって、関連しない特徴は類似性の測定に干渉する可能性があります。
トレーニングエラーをゼロにしようとする場合、技術的にはトレーニングデータセットをそれ自体に一致させるだけなので、次元の呪いはkNNアルゴリズムにも影響しません。
ただし、このようなモデルはテストセットでうまく機能する可能性は低くなります。トレーニングの精度とテストの精度の間に大きなギャップがあるため、モデルはトレーニングデータに適合していると言われています。
これがお役に立てば幸いです。