Random generalization by feedforward neural networks

• Autorzy: Rataj A.

Warianty tytułu

PL

Losowe uogólnianie przez jednokierunkowe sieci neuronowe

• Języki publikacji: EN

Abstrakty

EN

A generalization by a feedforward neural network is discussed, such that some samples may be generalized using very dierent, conflicting criteria. A training set is deliberately constructed to show that feedforward neural networks in such a case can generalize very spuriously and randomly. To illustrate the dierences between dierent learning machines, results given by a small subset of the support vector machines are also presented.

PL

W artykule dyskutowane jest uczenie jednokierunkowych sieci neuronowych w którym niektóre próbki mogą być uogólnianie przy użyciu bardzo odmiennych kryteriów. Zbiór uczący jest specjalnie skonstruowany w sposób pokazujący, że w przypadku istnienia bardzo odmiennych kryteriów uogólniania sieć neuronowa może generalizować w sposób przypadkowy, wynikły prawie całkowicie ze struktury wewnętrznej sieci, a nie z zawartości pliku uczącego. Sieci neuronowe są porównane też do SVM-ów, które przy odpowiednich parametrach nie wykazały takiej losowości, jednak z drugiej strony w testowanych przypadkach nie potrafiły uogólnić niektórych wzorców w pliku uczącym.

Słowa kluczowe

EN

supervised learning; generalization; randomness; feedforward neural network; support vector machine (SVM)

• Wydawca: Instytut Informatyki Teoretycznej i Stosowanej Polskiej Akademii Nauk
• Czasopismo: Theoretical and Applied Informatics
• Rocznik: 2008
• Tom: Vol. 20, No. 2
• Strony: 117--124
• Opis fizyczny: Bibliogr. 9 poz., rys.

Twórcy

autor

Rataj A.

• Institute of Theoretical and Applied Computer Science, Bałtycka 5, Gliwice, Poland,

Bibliografia

• [1] Bishop, C.M. (1995). Neural Networks for Pattern Recognition. Oxford University Press, New York.
• [2] Burges, C. J. C. (1998). A tutorial on support vector machines for pattern recognition. Data Mining and Knowledge Discovery, 2(2):121–167.
• [3] Chang, C.-C. and Lin, C.-J. (2001). LIBSVM: a library for support vector machines.
• [4] Cortes, C. and Vapnik, V. (1995). Support-vector networks. Machine Learning, 20(3):273–297.
• [5] Krogh, A., Hertz, J. A. and Palmer R. G. (1991). Introduction to the Theory of Neural Computation. Addison-Wesley, Redwood City, CA.
• [6] Krogh, A. and Hertz, J. A. (1992). A simple weight decay can improve generalization. In Moody, J. E., Hanson, S. J., and Lippmann, R. P., editors, Advances in Neural Information Processing Systems, volume 4, pages 950–957. Morgan Kaufmann Publishers, Inc.
• [7] McCulloch,W. S. and Pitts,W. H. (1943). A logical calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biophysics, 5:115–133.
• [8] Rumelhart, D. E. and McClelland, J. L. (1986). Explorations in the microstructure of cognition. Parallel Distributed Processing, 1:318–362.
• [9] Schoelkopf, B., Smola, A.,Williamson, R., and Bartlett, P. L. (2000). New support vector algorithms. Neural Computation, 12:1207–1245.