Legjobb válasz
Az edzéshiba az a hiba, amelyet akkor kap, amikor a betanított modellt futtatja vissza az edzési adatokra. Ne feledje, hogy ezeket az adatokat már felhasználták a modell képzéséhez, és ez nem feltétlenül jelenti azt, hogy az egyszer kiképzett modell pontosan teljesíteni fog, ha visszahelyezik magára az edzési adatokra.
A teszthiba az a hiba, amikor kap, ha a betanított modellt olyan adatkészleten futtatja, amelynek korábban soha nem volt kitéve. Ezeket az adatokat gyakran használják a modell pontosságának mérésére, mielőtt a gyártásba szállítanák.
Válasz
Az a szándék, hogy szándékosan indukáljuk a túlillesztést egy neurális hálózat (NN) modellben, ezt megtehetjük:
- nagy modellek felhasználásával, nagyon sok paraméterrel. Elég nagy Az NN-nek elegendő szabadságfokkal kell rendelkeznie ahhoz, hogy elférjen az egész ImageNet adatkészleten.
- Kerülhetjük az olyan szabályozást, mint a lemorzsolódás, az L\_1, az L\_2 vagy a kötegelt normalizálás. A rendszeresítés némileg növelheti az edzési hibákat, így növelheti a nulla edzési hiba esélyét. kerülnünk kell a legalizálás minden formáját. Bár még egy jól szabályozott modellnek is lehet nulla t értéke eső hiba.
- Használjon kicsi tanulási arányokat, mert a nagy tanulási arányoknak valójában kicsi a szabályosítási tulajdonságuk. Nagy tanulási arány esetén a modell paraméterei nem tudnak pontosan megegyezni egy helyi minimumban, mert a paraméterek frissítései a helyi minimum körül ugranak. Ez a körüli ugrás megakadályozhatja, hogy a modell memorizálja a képzési készletet, így a kis tanulási arányok alkalmazásával a modell egy kicsit pontosabban be tud állni egy helyi minimumba, ezáltal növelve annak esélyét, hogy a modell megjegyezze a képzési adatkészletet.
- Kerülje a korai leállást, ha a modellt nagyon sok képzési korszakon keresztül futtatja. A korai leállításnak van némi szabályozási hatása is, amely megakadályozhatja a nagy edzéskészlet memorizálását.
- A modellt különböző kezdeti véletlenszerű súlyokkal képezzük, mivel a kezdeti súlyok erősen meghatározzák azt a helyi minimumot, amelybe a paraméterek beletartoznak. Egyes helyi minimumok nem engedélyezhetik a nulla edzéshibát az egész ImageNet adatkészleten, ezért szándékosan kell keresnünk olyan helyi minimumokat, ahol a képzési hiba nulla.
Néhány viszonylag egyszerű adatkészleten, mint például az MNIST, egyes modellek képesek 100\% -os edzés pontosságot elérni, ugyanakkor nagyon jó teszt pontosságot (99\% +). Ilyen esetekben azt mutatja, hogy a nulla edzési hibával rendelkező modell nem jelenti a túlfeszítést.
De ha egy nagyon nagy, bonyolult adathalmazon, például az ImageNet-nél nullázási hibát kap, erősen jelezheti, hogy a modellje túlterhelt.
Más modellek egyszerűen építhetők elég nagy kapacitással az egész ImageNet adatkészlet memorizálásához. Mint k legközelebbi szomszéd (kNN) algoritmus k = 1 értékkel, és ennek könnyen nulla edzési hibája lesz. A gépi tanulásban (ML) az, hogy egy edzéskészletet egyszerűen megjegyezzünk, lusta tanulásnak nevezzük, és ez bizonyos esetekben nagyon fontos, amikor az edzés és a tesztadatok között nincs sok különbség.
Valójában a kNN nagyon jól működik nagyon kicsi foltok esetén . Nagyobb felbontású javítások esetén azonban a kNN szenved a dimenzió átkától, mert a kNN nem tanulja meg a releváns jellemzőket, így az irreleváns tulajdonságok megzavarhatják a hasonlóság mértékét.
Abban az esetben, ha nulla edzési hibát próbálunk elérni, A dimenzió átka még a kNN algoritmusra sincs hatással, mivel technikailag csak a képzési adatkészletet alkalmazzuk önmagához.
Bár egy ilyen modell kevésbé valószínű, hogy jól teljesít a tesztkészleten. óriási különbség van az edzés pontossága és a teszt pontossága között, állítólag a modell túlteljesítette az edzés adatait.
Remélem, hogy ez segít.