O que é um erro de treinamento e teste?


Melhor resposta

O erro de treinamento é o erro que você obtém ao executar o modelo treinado de volta nos dados de treinamento. Lembre-se de que esses dados já foram usados ​​para treinar o modelo e isso não significa necessariamente que o modelo, uma vez treinado, terá um desempenho preciso quando aplicado de volta aos próprios dados de treinamento.

O erro de teste é o erro quando você obter quando você executa o modelo treinado em um conjunto de dados aos quais ele nunca foi exposto anteriormente. Esses dados são frequentemente usados ​​para medir a precisão do modelo antes de ser enviado para produção.

Resposta

A ideia é induzir deliberadamente o super ajuste em um modelo de rede neural (NN), podemos fazer isso:

  • Usando modelos grandes com um número muito grande de parâmetros. NN deve ter graus de liberdade suficientes para caber todo o conjunto de dados ImageNet.
  • Podemos evitar a regularização, como dropout, L\_1, L\_2 ou normalização em lote. A regularização pode aumentar ligeiramente o erro de treinamento, aumentando assim as chances de erro zero de treinamento precisamos evitar qualquer forma de regularização. Embora mesmo um modelo bem regularizado possa ter zero t chovendo erro.
  • Use pequenas taxas de aprendizagem porque grandes taxas de aprendizagem na verdade têm pequenas propriedades de regularização. Para grandes taxas de aprendizado, os parâmetros do modelo não podem se estabelecer precisamente em um mínimo local porque as atualizações de parâmetro mudam ao redor do mínimo local. Essas oscilações podem impedir o modelo de memorizar o conjunto de treinamento, portanto, usando pequenas taxas de aprendizado, o modelo pode se estabelecer um pouco mais precisamente em um mínimo local, aumentando assim as chances do modelo memorizar o conjunto de dados de treinamento.
  • Evite parar antecipadamente executando o modelo por um grande número de períodos de treinamento. A parada precoce também tem algum efeito de regularização que pode impedir a memorização do grande conjunto de treinamento.
  • Treine o modelo com diferentes pesos aleatórios iniciais, pois os pesos iniciais determinam fortemente o mínimo local no qual os parâmetros se estabelecerão. Alguns mínimos locais podem não permitir erro zero de treinamento em todo o conjunto de dados ImageNet, portanto, devemos procurar deliberadamente por mínimos locais em que o erro de treinamento seja zero.

Em alguns conjuntos de dados relativamente simples, como MNIST, alguns modelos são capazes de obter uma precisão de treinamento de 100\% e, ao mesmo tempo, obter uma precisão de teste muito boa de 99\% +. Nesses casos, isso mostra que um modelo com erro de treinamento zero não implica overfitting.

Mas obter zero erro de treinamento em um conjunto de dados muito grande e complicado como ImageNet pode indicar fortemente que seu modelo está overfitting.

Outros modelos podem ser construídos simplesmente com capacidade grande o suficiente para memorizar todo o conjunto de dados ImageNet. Como o algoritmo do vizinho mais próximo (kNN) com k = 1 e facilmente terá erro de treinamento zero. No aprendizado de máquina (ML), o processo memorizar apenas um conjunto de treinamento é chamado de aprendizado preguiçoso e é realmente importante em alguns casos quando não há muita variação entre os pontos de dados de treinamento e teste.

Na verdade, o kNN funciona muito bem para patches muito pequenos . No entanto, com patches de resolução maiores, kNN sofre da maldição da dimensionalidade porque kNN não aprende recursos relevantes, portanto, recursos irrelevantes podem interferir na medida de similaridade.

No caso de tentar obter erro de treinamento zero, a maldição da dimensionalidade não tem efeito nem mesmo no algoritmo kNN, já que tecnicamente estamos apenas combinando o conjunto de dados de treinamento com ele mesmo.

Embora esse modelo tenha menos probabilidade de ter um bom desempenho no conjunto de teste. enorme lacuna entre a precisão do treinamento e a precisão do teste, diz-se que o modelo superajustou os dados de treinamento.

Espero que isso ajude.

Deixe uma resposta

O seu endereço de email não será publicado. Campos obrigatórios marcados com *