최상의 답변
학습 오류는 학습 데이터에서 학습 된 모델을 다시 실행할 때 발생하는 오류입니다. 이 데이터는 이미 모델 학습에 사용되었으며, 이는 반드시 학습 된 모델이 학습 데이터 자체에 다시 적용될 때 정확하게 수행된다는 것을 의미하지는 않습니다.
테스트 오류는 다음과 같은 오류입니다. 이전에 노출 된 적이없는 데이터 세트에 대해 학습 된 모델을 실행할 때 가져옵니다.이 데이터는 프로덕션으로 배송되기 전에 모델의 정확성을 측정하는 데 자주 사용됩니다.
답변
h2>
이 아이디어는 신경망 (NN) 모델에서 의도적으로 과적 합을 유도하는 것입니다. 다음과 같이 할 수 있습니다.
- 매우 많은 수의 매개 변수가있는 큰 모델을 사용합니다. NN은 전체 ImageNet 데이터 세트에 맞도록 충분한 자유도를 가져야합니다.
- 드롭 아웃, L\_1, L\_2 또는 배치 정규화와 같은 정규화를 피할 수 있습니다. 정규화는 학습 오류를 약간 증가시켜 학습 오류가 0 일 가능성을 높일 수 있습니다. 어떤 형태의 정규화도 피해야합니다. 잘 정규화 된 모델조차도 t를 0으로 가질 수 있습니다. 비가 오는 오류.
- 학습률이 크면 실제로는 정규화 속성이 작으므로 학습률이 낮습니다. 큰 학습률의 경우 매개 변수 업데이트가 로컬 최소값에 근접하기 때문에 모델 매개 변수가 로컬 최소값으로 정확하게 정착 할 수 없습니다. 이리저리 뛰어 다니면 모델이 학습 세트를 기억하는 것을 방지 할 수 있으므로 작은 학습률을 사용하여 모델이 로컬 최소값으로 좀 더 정확하게 정착 할 수 있으므로 모델이 학습 데이터 세트를 기억할 가능성이 높아집니다.
- 매우 많은 수의 훈련 시대를 통해 모델을 실행하여 조기 중단을 방지합니다. 조기 중지는 또한 대규모 학습 세트의 기억을 방해 할 수있는 일부 정규화 효과를 갖습니다.
- 초기 가중치는 매개 변수가 정착 될 로컬 최소값을 강력하게 결정하므로 다른 초기 임의 가중치로 모델을 학습시킵니다. 일부 로컬 최소값은 전체 ImageNet 데이터 세트에서 훈련 오류를 0으로 설정하지 못할 수 있으므로 훈련 오류가 0 인 로컬 최소값을 의도적으로 검색해야합니다.
MNIST 일부 모델과 같은 비교적 간단한 데이터 세트에서 100 \% 훈련 정확도를 얻을 수있는 동시에 99 \% 이상의 꽤 좋은 테스트 정확도를 얻을 수 있습니다. 이러한 경우 학습 오류가없는 모델이 과적 합을 의미하지는 않는다는 것을 보여줍니다.
하지만 ImageNet과 같은 매우 복잡한 데이터 세트에서 학습 오류가 0이되면 모델이 과적 합되었음을 강력하게 나타낼 수 있습니다.
다른 모델은 전체 ImageNet 데이터 세트를 기억할 수있을만큼 충분히 큰 용량으로 간단히 구축 할 수 있습니다. k = 1 인 kNN (가장 가까운 이웃) 알고리즘처럼 쉽게 학습 오류가 없습니다. 머신 러닝 (ML)에서 프로세스는 학습 세트를 암기하는 것을 지연 학습이라고하며 실제로 “학습 데이터 포인트와 테스트 데이터 포인트간에 큰 차이가없는 경우에 중요합니다.
사실 kNN은 매우 작은 패치에 대해 매우 잘 작동합니다. . 그러나 더 큰 해상도 패치를 사용하면 kNN이 관련 기능을 학습하지 않으므로 관련 기능을 학습하지 못하므로 관련없는 기능이 유사성 측정을 방해 할 수 있기 때문에 kNN은 차원의 저주에 시달립니다.
훈련 오류를 0으로 만들려는 경우, 기술적으로 훈련 데이터 세트를 자체적으로 일치시키기 때문에 차원 성의 저주는 kNN 알고리즘에도 영향을 미치지 않습니다.
이러한 모델은 테스트 세트에서 잘 수행되지 않을 가능성이 낮습니다. 학습 정확도와 테스트 정확도 사이의 큰 차이로 인해 모델이 학습 데이터에 과적 합되었다고합니다.
도움이되기를 바랍니다.