Analog signal processing suited for neural-network hardware implementation

• Autorzy: Wojtyna R.

Warianty tytułu

PL

Analogowe przetwarzanie sygnałów odpowiednie do sprzętowej implementacji sieci neuronowych

• Języki publikacji: EN

Abstrakty

EN

In this paper, possibilities and restrictions of analog signal processing applied to neural networks are considered. Both current and voltage-mode techniques were considered. Each of them possesses advantages and disadvantages but the number of instances, where the current-mode approach is superior over the voltage-mode one is constantly increasing. The superiority concerns mainly Lower power consumption and higher speed of the signal processing. Both features are essential when implementing the processing within an AISIC integrated circuit (Application Specific Integrated Circuit). Several well suited for CMOS implementation circuit examples are presented. The main emphasis is placed on circuits that perform arithmetic operations in both current and transconductance modes. One of interesting conclusions resulting from our studies is that learning neural networks in an unsupervised way (without a teacher) is easier to implement in hardware than learning with a teacher, i.e. supervised learning. Apart from theoretical considerations, SPICE simulation results (0.35 μm CMOS) and layout of a prototyped Kohonen network (0.18 CMOS) has been shown.

PL

W pracy przedstawiono możliwości i ograniczenia użycia analogowego przetwarzania sygnałów w sieciach neuronowych. Rozpatrzono pracę zarówno w trybie prądowym, jak i napięciowym. Każdy z nich ma swoje zalety i wady, ale stale wzrasta liczba przypadków, w których tryb prądowy wykazuje wyższość nad napięciowym. Wyższość dotyczy głównie mniejszego poboru mocy i większej szybkości przetwarzania sygnałów. Obie cechy są istotne, gdy chodzi o sprzętową implementację takiego przetwarzania wewnątrz specjalizowanego układu scalonego typu ASIC. Przedstawiono kilka przekładów układów dobrze przystosowanych do implementacji w technologii CMOS. Główny nacisk położono na układy wykonujące operacje arytmetyczne, zarówno w trybie prądowym, jak i transkonduktancyjnym. Jednym z interesujących wniosków wypływających z wykonanych badań jest fakt, że uczenie sieci neuronowych w sposób nienadzorowany (bez nauczyciela) jest prostsze w realizacji sprzętowej niż uczenie z nauczycielem, tj. uczenie nadzorowane. Oprócz rozważań teoretycznych, pokazano wyniki symulacji wykonanych za pomocą programu SPICE dla technologii CMOS 0,35 μm oraz projekt topologiczny (layout) prototypowej sieci Kohonena zrealizowanej w technologii CMOS 0,18 μm.

Słowa kluczowe

EN

hardware signal processing; current-mode processing; analog ASIC's; low-power CMOS circuits

PL

sprzętowe przetwarzanie sygnałów; przetwarzanie w trybie prądowym; układy analogowe ASIC; energooszczędne układy CMOS

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Elektronika : konstrukcje, technologie, zastosowania
• Rocznik: 2010
• Tom: Vol. 51, nr 3
• Strony: 97--101
• Opis fizyczny: Bibliogr. 17 poz., tab., wykr.

Twórcy

autor

Wojtyna R.

• University of Technology and Life Sciences, The Academy of Information Technology

Bibliografia

• [1] Kohonen T.: Self-organizing maps. Springer Verlag. Berlin, 2001.
• [2] Cauwenberghs G., Bayoumi M. A., Sanchez-Sinencio E.: Learning on silicon: Adaptive VLSI Neural Systems. Kluwer Academic Publishers, 1999.
• [3] Fakhraie S., Smith K. C.: VLSI-compatible implementations for artificial neural networks. Kluwer Academic Publishers, 1997.
• [4] Linares-Barranco B., Sanchez-Sinencio E., Rodriguez-Vazquez A., Huertas J. L.: A CMOS Analog Adaptive BAM with On-Chip Learning and Weight Refreshing. IEEE Transactions on Neural Networks, vol. 4, no. 3, 1993, pp. 445-455.
• [5] Holler M., et al.: An Electrically Trainable Artificial Neural Network (ETANN) with 10240 Floating Gate, Synapses. International Joint Conference on Neural Networks, June 1989, pp.191-196.
• [6] Talaśka T., Długosz R., Pedrycz W.: Adaptive Weight Change Mechanism for Kohonens's Neural Network Implemented in CMOS 0.18 µm Technology. European Symposium on Artificial Neural Networks (ESANN), Bruges, Belgium, 2007, pp. 151-156.
• [7] Ahalt S. C., Krishnamurthy A. K., Chen P., Melton D. E.: Competitive learning algorithms for vector quantization. Neural Networks, vol. 3, 1990. p. 131-134.
• [8] DeSieno D.: Adding a conscience to competitive learning. IEEE Conference Neural Network, vol. 1, 1988, pp.117-124.
• [9] Gatet L., Tap-Beteille H., Bony R.: Comparison Between Analog and Digital Neural Network Implementations for Range-Finding Applications. IEEE Transactions on Neural Networks, vol. 20, no. 3. March 2009.
• [10] Shih-Lun Chen, Ho-Yin Lee, Yu-Wen Chu, Chiung-An Chen, Chin-Chun Lin, Ching-Hsing Luo: A variable control system for wireless body sensor network. IEEE International Symposium on Circuits and Systems (ISCAS), 18-21, pp. 2034-2037, May 2008.
• [11] Chen Y., Bastani F.: ANN with two-dendrite neurons and its weight initialization. International Joint Conference on Neural Networks (IJCNN 1992), Baltimore, USA, 1992, pp. 139-146.
• [12] Macq D., Verleysen M., Jespers P., Legat J.-D.: Analog implementation of a Kohonen map with on-chip learning. IEEE Transactions on Neural Networks.
• [13] Wojtyna R., Talaśka T.: Improved Power-Saving Synapse for Adaptive Neuroprocessing on Silicon. IEEE Int. Conf. Signals and Electronic Systems ICSES'2004, pp. 27-30. Poznań 2004.
• [14] Wojtyna R.: Current-mode analog memory with extended storage time for hardware-implemented neural networks. Elektronika nr 3/2009, pp. 34-38.
• [15] Wojtyna R.: Simple CMOS transconductance-mode differential squarer. IEEE Workshop Signal Processing'2005, pp. 171, Poznań 2005.
• [16] Wojtyna R.: Current-mode analog square rooter for hardware neuroprocessing. IEEE Workshop Signal Processing'2005, Poznań 2006.
• [17] Długosz R.. Talaśka T., Wojtyna R.: New binary-tree-based Winner-Takes-All Circuit for Learning on Silicon Kohonen's Networks. ICSES2006, Łódź 2006.