Nowy, efektywny mechanizm pobudzania martwych neuronów w sztucznych sieciach neuronowych Kohonena typu WTA

• Autorzy: Talaśka T. , Idźkowski M. , Rydlewski A. , Miciak M. , Wiatr R.

Warianty tytułu

EN

New, Effective mechanism to activate of the dead neurons in the Kohonen Artificial Neural Networks type WTA

• Języki publikacji: PL

Abstrakty

PL

W pracy przedstawiono nowy, efektywny mechanizm pobudzania martwych neuronów, wykorzystywany w samoorganizujących się, sztucznych sieciach neuronowych Kohonena typu WTA (Zwycięzca Bierze Wszystko). Mechanizm ten polega na wyłączeniu (z procesu uczenia) na pewien określony czas neuronu, który wygrał rywalizację w poprzedniej iteracji. Mechanizm ten przy odpowiednim ustawieniu jego parametrów, niezależnie od sposobu przeprowadzenia inicjalizacji wstępnej wag początkowych, gwarantuje pobudzenie wszystkich martwych neuronów w procesie uczenia takich sieci. Neurony martwe mają negatywny wpływ na proces uczenia się sieci i znacznie ograniczaj możliwość jej późniejszego wykorzystania w różnych aplikacjach. Zaproponowany mechanizm może być z łatwością wykorzystany w sieciach WTA, implementowanych w postaci specjalizowanych układów scalonych (ASIC) i być dobrą alternatywą dla istniejących rozwiązań mechanizmu sumienia.

EN

The paper presents a novel, effective mechanism to activate dead neurons, which is used in Kohonen selforganizing, artificial neural network WTA type (Winner Takes All). The mechanism relies on exclusion from learning process for some period of time a neuron, which has won the competition in the previous iteration. The mechanism with set of appropriate settings of parameters and regardless of pre-initialization of beginning weights, ensures that all dead neurons become activated in the learning process of such networks. Dead neurons have a negative impact on the network learning process and significantly reduce the possibility of future usage these networks in different applications. The proposed mechanism, can be easily used in WTA networks, implemented as a specialized application in integrated circuits (ASIC) and it can be a good alternative for existing solutions of the conscience mechanism.

Słowa kluczowe

PL

sieć neuronowa; sztuczna sieć neuronowa (ANN); pobudzenie martwych neuronów

EN

dead neuron; artificial neural network (ANN); neural network

• Wydawca: Sieć Badawcza Łukasiewicz - Poznański Instytut Technologiczny
• Czasopismo: Logistyka
• Rocznik: 2014
• Tom: nr 6
• Strony: 10567--10578
• Opis fizyczny: Bibliogr. 20 poz., rys., tab., wykr., pełny tekst na CD 3

Twórcy

autor

Talaśka T.

• Uniwersytet Technologiczno-Przyrodniczy w Bydgoszczy, Wydział Telekomunikacji, Informatyki i Elektrotechniki, Instytut Telekomunikacji i Informatyki, Bydgoszcz ul. Kaliskiego 7, 85-796

autor

Idźkowski M.

• Uniwersytet Technologiczno-Przyrodniczy w Bydgoszczy, Wydział Telekomunikacji, Informatyki i Elektrotechniki, Instytut Telekomunikacji i Informatyki, Bydgoszcz ul. Kaliskiego 7, 85-796

autor

Rydlewski A.

• Alcatel-Lucent, Coldra Woods, Chepstow, Rd, Newport NP18 2YB, Wale

autor

Miciak M.

• Uniwersytet Technologiczno-Przyrodniczy w Bydgoszczy, Wydział Telekomunikacji, Informatyki i Elektrotechniki, Instytut Telekomunikacji i Informatyki, Bydgoszcz ul. Kaliskiego 7, 85-796

autor

Wiatr R.

• Uniwersytet Technologiczno-Przyrodniczy w Bydgoszczy, Wydział Telekomunikacji, Informatyki i Elektrotechniki, Instytut Telekomunikacji i Informatyki, Bydgoszcz ul. Kaliskiego 7, 85-796

Bibliografia

• 1. Ahalt S.C., Krishnamurthy A.K., Chen P., Melton D.E., Competitive learning algorithms for vector quantization, Neural Networks, Vol. 3, 1990
• 2. Bohena K., Mikroprocesoy neuromorficzne,Miesięcznik, Świat Nauki, Scientific American, Wydanie specjalne, Vol. 1(8), 2007
• 3. Cauwenberghs G., Bayoumi M., Learning on silicon. Adaptive VLSI neural systems, Kluwer Academic Publishers, 1999
• 4. Choi J., Bang S.H., Sheu B.J., A programmable analog VLSI neural network processor for communication receivers,” IEEE Transactions on Neural Networks, Vol. 4, No. 3, 1993
• 5. DeSieno D., Adding a conscience to competitive learning, Proc. II, IEEE Conference Neural Network, Vol. 1, 1988
• 6. Długosz R, Talaśka T., Pedrycz W., Wojtyna R., Realization of the Conscience Mechanism in CMOS Implementation of Winner Takes All Self-Organizing Neural Networks, IEEE Transactions on Neural Networks, Vol. 21, No. 6, 2010
• 7. Długosz R, Talaśka T., Pedrycz W., Current-Mode Analog Adaptive Mechanism for Ultra-Low Power Neural Networks, IEEE Transactions on Circuits and Systems - II:Express Brief, Vol. 58, 2011
• 8. Długosz R, Talaśka T., Dalecki J., Wojtyna R.,, Experimental Kohonen Neural Network Implemented in CMOS 0.18μm technology, International Conference Mixed Design of Integrated Circuits and Systems (MIXDES), Poznań, 2008
• 9. Długosz R., Talaśka T., Low Power Current-Mode Binary-Tree Asynchronous Min / Max Circuit, Microelectronics Journal, Vol. 41, 2010
• 10. Holler M., Tam S., Castro H., Benson R., An electrically trainable artificial neural network (ETANN) with 10240 `floating gate' synapses, International Joint Conference on Neural Networks, 1989
• 11. Kohonen T., Self-organizing maps, 3-ed, Springer Verlag, Berlin, Heidelberg , 2001
• 12. Korbicz J., Obuchowicz A., Uciński D. , Sztuczne sieci neuronowe. Podstawy i zastosowania, Akademicka Oficyna Wydawnicza PLJ, Warszawa, 1994
• 13. Leite, C.R., Martin, D.L., Sizilio, G.R., Dos Santos, K.E., de Araujo, B.G., Valentim, R.A., Neto, A.D., de Melo, J.D., Guerreiro, A.M., Classification of cardiac arrhythmias using competitive networks, 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology Society, EMBC'10, pp. 1386-1389, 2010
• 14. Macq D., Verleysen M., Jespers P., Legat J.D., Analog Implementation of a Kohonen Map with On-Chip Learning, IEEE Transactions on Neural Networks, Vol. 4, No. 3, 1993
• 15. Tighiouart, B., Rubel, P., Bedda, M., Improvement of QRS boundary recognition by means of unsupervised learning, Computers in Cardiology, 30, pp. 49-52, 2003
• 16. Wen, C., Lin, T.-C., Chang, K.-C., Huang, C.-H., Classification of ECG complexes using selforganizing CMAC, Measurement: Journal of the International Measurement Confederation 42 (3), pp. 399-407, 2009
• 17. Wilshow D. J., von der Malsburg C.,How patterned neural connections can be set up by selforganization, Proceedings of the Royal Society of London, seria B, Biological Sciences, Vol. 194, No. 1117, pp: 431-445, 1976
• 18. Valenza, G., Lanata, A., Ferro, M., Scilingo, E.P., Real-time discrimination of multiple cardiac arythmias for wearable systems based on neural networks, Computers in Cardiology, 35, pp. 10531056, 2008
• 19. Von der Malsburg C., Self-organisation of orientation sensitive cells in the striate cortex, Kybernetik, Vol. 14, pp: 85-100, 1973
• 20. Zaghloul K. A., Bohena K.,Optic nerve signals in a neuromorphic chip, IEEE Transactions on Biomedical Engineering, Vol. 51, No. 4, pp: 657-675, 2004