Comparison of different hardware realizations of the winner takes all neural network

• Autorzy: Talaśka T. , Przedwojski P. , Dalecki J. , Długosz R.

Warianty tytułu

PL

Porównanie różnych sprzętowych realizacji sztucznej sieci neuronowej typu winner takes all

• Języki publikacji: EN

Abstrakty

EN

This paper presents realization and the laboratory tests of the Kohonen winner takes all (WTA) neural network (NN) realized on microcontrollers (μC) with the AVR and ARM CortexM3 cores, as well as the comparison with the full custom implementation of analog network of this type in the CMOS technology. The two μCs have been placed on a single testing board to facilitate the comparison. The board allows for switching between the two μCs, it enables selection of either the Euclidean (L2) or the Manhattan (L1) distance measures. It also allows for turning on/off the so-called conscience mechanism. Some signals illustrating the training of the network can be observed directly on the board. The full learning process with all essential parameters can be viewed on PC using the USB port. The prospective application of the system is in on-line analysis of the ECG and EMG biomedical signals in the health care diagnostic systems, as well as in the student laboratories on neural networks and programmable devices.

PL

W pracy przedstawiono projekt oraz wyniki badań laboratoryjnych sieci neuronowej Kohonena typu Winner Takes All (WTA) zaimplementowanej na mikrokontrolerach z rdzeniami AVR oraz ARM. W pracy przedstawiono też porównanie z wcześniejszą realizacją podobnej sieci jako specjalizowany analogowy układ scalony. Dwa mikrokontrolery, na których zaimplementowano algorytm uczący umieszczone zostały na jednej płytce testowej aby umożliwić bezpośrednie porównanie ich parametrów. Za pomocą przełączników umieszczonych bezpośrednio na płytce możliwe jest wybranie jednego z mikrokontrolerów, jednej z dwóch miar podobieństwa między wektorami (Euklidesa L2 lub typu Manhattan L1) oraz włączenie lub wyłączenie mechanizmu sumienia. Niektóre sygnały przedstawiające proces uczenia (sygnału sygnalizującego zwycięski neuron) możemy bezpośrednio obserwować na płytce. Proces uczenia możemy też w całości obserwować na komputerze PC, poprzez złącze USB. Do potencjalnych zastosowań wykonanej płytki testowej oraz sprzętowych realizacji sieci neuronowej należą systemy do ciągłego monitoringu zdrowia pacjentów (obserwacja oraz analiza sygnałów typu EKG oraz EMG), a także jako wyposażenie laboratorium studenckiego.

Słowa kluczowe

EN

WTA network; digital neural networks; analog neural networks; microcontroller; low energy consumption

PL

sieć typu WTA; cyfrowe sieci neuronowe; analogowe sieci neuronowe; mikrokontrolery; niski pobór energii

• Wydawca: Wydawnictwa Uczelniane Politechniki Bydgoskiej im. Jana i Jędrzeja Śniadeckich
• Czasopismo: Zeszyty Naukowe. Telekomunikacja i Elektronika / Uniwersytet Technologiczno-Przyrodniczy w Bydgoszczy
• Rocznik: 2010
• Tom: z. 13
• Strony: 67--78
• Opis fizyczny: Bibliogr. 18 poz., rys., tab.

Twórcy

autor

Talaśka T.

• Faculty of Telecommunication and Electrical Engineering University of Technology and Life Sciences (UTP), Kaliskiego 7, 85-789 Bydgoszcz, Poland

autor

Przedwojski P.

autor

Dalecki J.

autor

Długosz R.

Bibliografia

• [1] Długosz R., Talaśka T., Dalecki J., Wojtyna R., 2008. Experimental Kohonen neural network implemented in CMOS 0.18 μm technology, International Conference on Mixed Design of Integrated Circuits and Systems, pp. 243-248, Poland.
• [2] Kohonen T., 2001. Self-Organizing Maps, Springer Verlag, Berlin.
• [3] Mailachalama B., Srikanthan T., 2002. Area–time issues in the VLSI implementation of self organizing map neural networks, Microprocessors and Microsystems, Vol. 26, No. 9-10, pp. 399-406.
• [4] Cotton N.J., Wilamowski B.M., Dundar G., 2008. A Neural Network Implementation on an Inexpensive Eight Bit Microcontroller, International Conference on Intelligent Engineering Systems, USA, pp. 109-114.
• [5] Young Wung Kim, Jung Hwan Cho, Gi Joon Jeon, 2007. An Intelligent Wireless Electronic Nose Node for Monitoring Gas Mixtures Using Neuro-Fuzzy Networks Implemented on a Microcontroller, IEEE International Conference on Computational Intelligence for Measurement Systems and Applications, Italy, pp.100-104.
• [6] Mousa H.M., El-Bardini M.A., Koutb M.A., 2005. On-Line Neurocontroller Based on Microcontrollers, IEEE International Conference on Industrial Technology, Hong-Kong, pp. 1252-1256.
• [7] Mursalin T.E., Eishita F.Z., Islam A.R., 2008. Fabric defect inspection system using neural network and microcontroller, Journal of Theoretical and Applied Information Technology, Vol. 4, No. 7.
• [8] Amerijckx C., Verleysen M., Thissen P., Legat J., 1998. Image Compression by Self-Organized Kohonen Map, IEEE Transactions on Neural Networks, Vol. 9, No. 3, pp. 503-507.
• [9] Chang C., Xu P., Rui Xiao, Srikanthan T., 2005. New Adaptive Color Quantization Method Based on Self-Organizing Maps, IEEE Transactions on Neural Networks, Vol. 16, No. 1, pp. 237-249.
• [10] Pedrycz W., Vasilakos A., 2001. Computional intelligence in telecommunications networks, CRC Press, LLC.
• [11] Kohonen T., Somervuo P., 1998. Self-Organizing Maps of Symbol Strings with Application to Speech Recognition, Neurocomputing, Vol. 21, No. 1-3, pp. 19-30.
• [12] Talaśka T., Długosz R., 2008. Initialization mechanism in Kohonen neural Network implemented in CMOS technology, European Symposium on Artificial Neural Networks (ESANN), Belgium, pp. 337-342.
• [13] Ahalt S.C., Krishnamurthy A.K., Chen P., Melton D.E., 1990. Competitive learning algorithms for vector quantization, Neural Networks, Vol. 3, pp. 131-134.
• [14] DeSieno D., 1988. Adding a conscience to competitive learning, IEEE Conference on Neural Network, Vol. 1, pp. 117-124.
• [15] Długosz R., Talaśka T., Pedrycz W., Wojtyna R., 2010. Realization of a Conscience Mechanism in CMOS Implementation of Winner Takes All Neural Networks, IEEE Transactions on Neural Networks, Vol. 21, No. 6, pp. 961–971.
• [16] Rajah A., Khalil Hani M., 2004. ASIC design of a Kohonen Neural Network microchip, IEEE International Conference on Semiconductor Electronics, Kuala Lumpur, Malaysia, pp. 148-151.
• [17] Chung-Yu Wu., Kuo Wen-Kai, 1993. A new analog implementation of the Kohonen Neural Network, International Symposium on VLSI Technology, Systems, and Applications, Taipei, Taiwan, pp. 262-266.
• [18] Dubois P., Botteron C., Mitev V., Menon C., Farine P.-A., Dainesi P., Ionescu A., Shea H., 2009. Ad hoc wireless sensor networks for exploration of Solar-system bodies, Acta Astronautica, 64 (5-6), pp. 626-643.