Cel mai bun răspuns
Eroarea de antrenament este eroarea pe care o primiți atunci când rulați modelul instruit înapoi pe datele de antrenament. Amintiți-vă că aceste date au fost deja utilizate pentru instruirea modelului și acest lucru nu înseamnă neapărat că modelul, odată antrenat, va funcționa cu exactitate atunci când este aplicat înapoi pe datele de antrenament în sine.
Eroarea de test este eroarea atunci când obțineți atunci când rulați modelul instruit pe un set de date la care nu a fost expus niciodată. Aceste date sunt adesea folosite pentru a măsura acuratețea modelului înainte de a fi livrat la producție.
Răspuns
Ideea este de a induce în mod deliberat supradaptarea într-un model de rețea neuronală (NN), putem face acest lucru prin:
- Folosind modele mari cu un număr foarte mare de parametri. NN ar trebui să aibă suficiente grade de libertate pentru a se potrivi întregului set de date ImageNet.
- Putem evita regularizarea, cum ar fi abandonul, L\_1, L\_2 sau normalizarea prin lot. Regularizarea poate crește ușor eroarea de antrenament, astfel încât să crească șansele de eroare zero de antrenament. trebuie să evităm orice formă de regularizare.Deși chiar și un model bine regularizat poate avea zero t eroare de ploaie.
- Folosiți rate de învățare mici, deoarece ratele de învățare mari au de fapt proprietăți mici de regularizare. Pentru rate mari de învățare, parametrii modelului nu se pot stabili cu precizie într-un minim local, deoarece actualizările parametrilor sar în jurul valorii de minim local. Că săriturile în jur și în jurul valorii pot împiedica modelul să memoreze setul de antrenament, prin utilizarea unor rate de învățare mici, modelul se poate așeza puțin mai precis într-un minim local, crescând astfel șansele ca modelul să memoreze setul de antrenament.
- Evitați oprirea timpurie prin rularea modelului printr-un număr foarte mare de epoci de antrenament. Oprirea timpurie are, de asemenea, un anumit efect de regularizare care ar putea împiedica memorarea setului mare de antrenament.
- Antrenează modelul cu diferite greutăți inițiale diferite, deoarece greutățile inițiale determină puternic minimul local în care se vor stabili parametrii. Este posibil ca unele minime locale să nu activeze zero eroare de antrenament pe întregul set de date ImageNet, astfel că ar trebui să căutăm în mod deliberat astfel de minime locale în care eroarea de antrenament este zero.
Pe unele seturi de date relativ simple, cum ar fi MNIST, unele modele sunt capabili să obțină o precizie de antrenament de 100\%, în același timp obținând o precizie de testare destul de bună de 99\% +. În astfel de cazuri, se arată că un model cu eroare de antrenament zero nu implică supradaptare.
Dar obținerea erorii de antrenament zero într-un set de date complicat foarte mare, cum ar fi ImageNet, poate indica cu tărie că modelul dvs. este supradaptat.
Alte modele pot fi construite pur și simplu cu o capacitate suficient de mare pentru a memora întregul set de date ImageNet. La fel ca algoritmul cu cel mai apropiat vecin (kNN) cu k = 1 și va avea cu ușurință eroare de antrenament zero. În procesul de învățare automată (ML) procesul doar memorarea unui set de antrenament se numește învățare leneșă și este de fapt importantă în unele cazuri când nu există prea multe variații între punctele de antrenament și datele de testare.
De fapt, kNN funcționează foarte bine pentru patch-uri foarte mici . Cu toate acestea, cu patch-uri de rezoluție mai mari, kNN suferă de blestemul dimensionalității, deoarece kNN nu învață caracteristici relevante, astfel încât caracteristicile irelevante pot interfera cu măsura similarității.
În cazul încercării de a obține erori de antrenament zero, blestemul dimensionalității nu are niciun efect asupra algoritmului kNN, deoarece tehnic potrivim doar setul de date de antrenament cu el însuși.
Deși un astfel de model este mai puțin probabil să funcționeze bine pe setul de testare. diferență uriașă între precizia antrenamentului și precizia testului, se spune că modelul este supradat de datele de antrenament.
Sper că acest lucru va ajuta.