The paper discusses regularization properties of artificial data for deep learning. Artificial datasets allow to train neural networks in the case of a real data shortage. It is demonstrated that the artificial data generation process, described as injecting noise to high-level features, bears several similarities to existing regularization methods for deep neural networks. One can treat this property of artificial data as a kind of “deep” regularization. It is thus possible to regularize hidden layers of the network by generating the training data in a certain way.
PL
W artykule omówiono własności regularyzacyjne sztucznych danych używanych w uczeniu głębokim. Dane te pozwalają na uczenie sieci neuronowych w sytuacji niedoboru danych rzeczywistych. Okazuje się, że proces generacji danych sztucznych, opisany jako zaszumianie wysokopoziomowych cech, wykazuje wiele podobieństw do istniejących metod regularyzacyjnych dla głębokich sieci neuronowych. Dzięki temu możliwa jest regularyzacja warstw ukrytych sieci poprzez generowanie sztucznych danych uczących w odpowiedni sposób.
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.