Współczesne generacje sztucznych sieci neuronowych i ich zastosowania w wybranych problemach klasyfikacji

• Autorzy: Linh T.
• Języki publikacji: PL

Abstrakty

PL

W rozprawie przedstawiono rozwiązania wybranych rodzajów sztucznych sieci neuronowych w zastosowaniu do zadań klasyfikacji. W szczególności rozważania dotyczą zmodyfikowanych struktur sieci Takagi-Sugeno-Kanga (TSK) bazujących na teorii zbiorów rozmytych oraz sieci wykorzystującej technikę wektorów podtrzymujących (SVM). Zaproponowano modyfikacje struktur sieci TSK i algorytmów uczących zwiększających efektywność klasyfikacji. Rozwiązania autorskie pozwalają uzyskać większą skuteczność klasyfikacji przy dużo mniejszej liczbie parametrów podlegających adaptacji, co oznacza szybsze i bardziej stabilne ich uczenie. W przypadku sieci SVM, autor dokonał krytycznej oceny różnych rozwiązań, dobierając wersję najlepszej dostosowaną do rodzaju rozwiązywanego zadania. Zaproponowane struktury sieciowe zastosowano do rozwiązania dwu zagadnień praktycznych: kalibracji układu "sztucznego nosa" do analizy mieszanin gazowych oraz układu rozpoznającego arytmie serca. Są to trudne zadania klasyfikacyjne, mające dużą wartość aplikacyjną. Dla rozwiązania tych zadań, autor opracował odpowiednie specjalistyczne algorytmy wstępnego przetwarzania sygnałów, generujące zestaw cech tworzących wektor sygnałów wejściowych dla sieci neuronowej. Zastosowanie skutecznych algorytmów wstępnego przetwarzania danych w połączeniu z efektywnymi rozwiązaniami sieci neuronowych pozwoliło uzyskać wyniki na wysokim poziomie, konkurencyjnym w stosunku do uznanych rozwiązań światowych. W pracy omówiono i przeprowadzono eksperymenty numeryczne związane z integracją pojedynczych wyników klasyfikatorów. Integracja taka pozwoliła powiązać wyniki różnych klasyfikatorów,tworząc układ o jeszcze lepszej skuteczności. Rezultaty pracy mają duże znaczenie teoretyczne i potencjalne możliwości zastosowania w praktyce.

EN

Two modern neural network structures applied for the solution of chosen classification problems have been presented in the work. The author has developed the modified Takaga-Sugeno-Kang (TSK) network implementing fuzzy reasoning rules and also the Support Vector Machine (SVM) network. The structure and the learning algorithms of the TSK network have been modified by the author to obtain better results of classifications. In the case of SVM network, different learning algorithms have been verified in order to select the proper one for the experiments concerned in the thesis. The author has considered two practical problems: the calibration of gas mixture sensors in artificial nose arrangement and the automatic analyzer of the heart arrhythmias, based on ECG recorded signals. These problems are known of their difficulties because of fuzziness of recorded signals. To reduce the effect of these inaccuracies, the author has developed specialized different preprocessing methods. The application of such algorithms and the efficient neural network solutions have resulted in a number of high quality results. Additionally, in view of existence of various algorithms and classifiers applied in the solution, their integration algorithm has been proposed. This integration method employs the individual results from elementary classifiers and generates the final, better and more reliable results. The presented novel theoretical results may find practical applications in real life systems.

Słowa kluczowe

PL

sieci neuronowe rozmyte; sieci SVM; klasyfikacja arytmii serca; sztuczny nos; integracja klasyfikatorów

EN

fuzzy neural networks; SVM networks; heat arrhythmias classification; artifical nose; classifier integration

• Wydawca: Oficyna Wydawnicza Politechniki Warszawskiej
• Czasopismo: Prace Naukowe Politechniki Warszawskiej. Elektryka
• Rocznik: 2004
• Tom: z. 130
• Strony: 3--99
• Opis fizyczny: Bibliogr. 106 poz., rys., tab., wykr.

Twórcy

autor

Linh T.

• Instytut Elektrotechniki Teoretycznej i Systemów Informacyjno-Pomiarowych, Politechnika Warszawska

Bibliografia

• [1] Addison P.S., Watson J.N., Clegg G.R., Holzer M., Sterz F., Roberson C.E., Evaluating arrhythmias in ECG signals using wavelet tranforms, IEEE Eng. Med. Biol. Mag., September/October, 2000, s. 104-109.
• [2] Afonso V.X., Tompkins W.J., Nguyen T.Q., Luo S., ECG beat detection using filter banks, IEEE Trans. on Biomedical Eng., vol. 46, No 2, 1999, s. 192-202.
• [3] Babuska R., Verbruggen H.B., Constructing fuzzy models by product space clustering, (in "Fuzzy model identification", Hellendoorn H., Driankov D., Eds., Springer, Berlin, 1998), s. 53-90.
• [4] Bares R., Boquete L., Garcia R., Mazo M., Lopez E., Escudero M., Rodriguez F.J., ECG Identification using Self Organising Maps, Neural Network Conference, Vienna, 1998, s. 378-383.
• [5] Beliczyński B., Przyrostowa aproksymacja funkcji za pomocą sieci neuronowych, rozprawa habilitacyjna Politechniki Warszawskiej, 2000.
• [6] Bezdek J.C., Pattern recognition with fuzzy objective function, Plenum Press, New York, 1981.
• [7] Bezdek J.C., Tsao E.C., Pal N., Generalized clustering networks and Kohonen selforganizing scheme, IEEE Trans. Neural Networks, vol. 4, 1993.
• [8] Bortolan G., Degani R., Willems J.L., ECG classification with neural networks and cluster analysis, Proc. Computers in Cardiology, 1991, s. 177-180.
• [9] Brudzewski K., Smart chemical sensing system for analysis of multi-component mixtures of gases, MST NEWS Poland 2, 1996, s. 1-11.
• [10] Sahambi J.S., Tandon S.N., Bhat R.K., Using wavelet transform for ECG characterization, IEEE Eng. in Medicine & Biology, 1997, January, s. 77-83.
• [11] Brudzewski K., Osowski S., Gas analysis system composed of a solid state sensor array and hybrid neural network structure, Sensors and Actuators-B55 (Chemical), 1999, s. 38-46.
• [12] Burges C., A tutorial on support vector machines for pattern recognition, (in "Knowledge discovery and data mining'', ed. Usama Fayyad), Kluwer, 2000, s. 1-43.
• [13] Cichocki A., Unbehauen R., Neural networks for optimization and signal processing, Wiley, New York, 1993.
• [14] Cichocki A., Amari S., Adaptive blind signal & image processing-learning algorithm, & application, Wiley, 2002.
• [15] Crammer K., Singer Y., On the learnability and design of output codes for multiclass problems, Computational Learning Theory, 2000, s. 35-46.
• [16] Demuth H., Beale M., Neural Network Toolbox for use with Matlab, The Math-Works, Inc., Natick, 1992.
• [17] Diamantaras K., Kung S., Principal component neural networks, theory and applications, Wiley, New York, 1996.
• [18] Duch W., Korbicz J., Rutkowski L., Tadeusiewicz R. (red.), Sieci neuronowe, Akademicka Oficyna Wydawnicza, Warszawa, 2000. Engineering
• [19] Dzieliński A., Modelowanie i sterowanie układów nieliniowych metodami neuropodobnymi, rozprawa habilitacyjna Politechniki Warszawskiej, 2002.
• [20] Duro R.J., Santos J., ECG Beat Classification with Synaptic Delay Based Artificial Neural Networks, IWANN '97, s. 962-970.
• [21] Golub G., Van Loan C., Matrix computations, Academie Press, New York, 1991.
• [22] Gunn S., Support vector machines for classification and regression, ISIS Technical Report, University of Southhampton, 1998.
• [23] Gustafson D., Kessel W., Fuzzy clustering with a fuzzy covariance matrix, Proc. IEEE CDC, San Diego, s. 761-766.
• [24] Haykin S., Neural networks, a comprehensive foundation, Macmillan College Publishing Company, New York, 1994.
• [25] HellendornH., Driankov D., Fuzzy model identification, Spinger, 1987.
• [26] Hoppner F., Klawonn F., Runkler T., Fuzzy eluster analysis, methods for classification, data analysis and image recognition, Wiley, 1999.
• [27] Hu Y.H., Palreddy S., Tompkins W., A patient adaptable ECG beat classifier using a mixture of experts approach, IEEE Trans. Biomedical Engineering, vol. 44, 1997, s. 891-900.
• [28] Hu Y. H., Tompkins W., Urrusti J.L., Alfanso V.X., Applications of artificial neural networks for ECG signal detection and classification, J. Electrocardiol., 1994.
• [29] Hsu C.W., Lin C.J., A comparison of methods for multiclass support vector machines, IEEE Trans. on Neural Networks, 2002, vol. 13, s. 415-425.
• [30] Hsu C.W., Lin C.J., A simple decomposition method for support vector machines, Machine Learning, vol. 46, 2002, s. 291-314. [48] Matlab-B
• [31] Izeboudjen N., Farah A., A New Neural Network System for Arrhythmia's Classification, Neural Network Conference, Vienna, 1998, s. 208-216.
• [32] Jakubowski J., Kwiatos K., Chwaleba A., Osowski S., Higher order statistics and neural network for tremor recognition, IEEE Trans. on Biomedical Engineering, vol. 49, No 2, 2002, s. 152-159.
• [33] Jang J.S., Sun C.T., Mizutani E., Neuro-fuzzy and soft computing, Prentice Hall, New Jersey, 1997.
• [34] Joachims T., Making large scale SVM learning practical, (in "Advances in kernel methods - support vector learning", B. Scholkopf, C. Burges, A. Smola eds) , MIT Press, Cambridge, 1998, s. 41-56.
• [35] Kanjilal P.P., Palit S., Saha G., Fetal ECG Extraction from Single Chanel Maternal ECG Using Singular Value Decomposition, IEEE Transactions on Biomedical Engineering, vol. 44, No 1, Jan. 1997, s. 51-59.
• [36] Kasabov N., Foundations of neural networks, fuzzy systems and knowledge engineering, Bradford Book MIT Press, London, 1996.
• [37] Kohonen T. , Self-organizing maps, Springer Verlag, Berlin, 1995.
• [38] Korbicz J., Obuchowicz A., Uciński D., Sztuczne sieci neuronowe - podstawy i zastosowania, Akademicka Oficyna Wydawnicza PLJ, Warszawa, 1994.
• [39] Xu L., Krzyżak A., Suen C.Y., Methods of combining multiple classifiers and their applications to handwriting recognition, IEEE Trans. on SMC, 1992, vol. 22, s. 418-434.
• [40] Kung S.Y., Digital neural networks, Prentice Hall, Englewood Cliffs, New Jersey, 1993.
• [41] Kurzyński M., Rozpoznawanie obiektów: Metody statystyczne, Oficyna Wydawnicza Politechniki Wrocławskiej, 1997.
• [42] Lagerholm M. , Peterson C., Braccini G., Edenbrandt L., Sornmo L., Clustering ECG complexes using Hermite functions and self-organising maps, IEEE Trans. on Biomedical Engineering, 2000, s. 838-847.
• [43] Leonard J.A., Kramer M.A., Radial basis function networks for classifying process faults, IEEE Control System Magazine, April, 1991, s. 31-38.
• [44] Lin C.T., Lee C.G., Neural fuzzy system, Prentice Hall, 1996.
• [45] Lin Y., Cunningham III G., A new approach to fuzzy neural system modeling, IEEE Trans. Fuzzy Systems, vol. 3, 1995, s. 190-198.
• [46] Li-Xin, A course in fuzzy system and control, Prentice Hall, 1997 .
• [47] Mangasarian O.L., Lagrangian support vector machines, Journal of Machine Learning Research, 2001, s. 161-177.
• [48] Matlab-ROSA, Higher-Order Spectral Analysis Toolbox, The MathWorks, 1998.
• [49] Mark R., Moody G., MIT-BIH arrhythmia database directory, MIT, 1988.
• [50] Mendel J., Tutorial on HOS in Signal procesing System Theory, IEEE Proceedings, 1991, s. 278-305.
• [51] Minami K., Nakajima H., Toyoshima T., Real-time Discrimination of Ventricular Tachyarrhythmia with Fourier-Transform Neural Network, IEEE Trans. on Biomedical Engineering, vol. 46, No 2, Feb. 1999, s. 179-185.
• [52] Nauck D., Klaworn F., Kruse R., Foundation of Neuro-fuzzy systems, Wiley, 1997.
• [53] Nikias C., Petropulu A., Higher order spectral analysis, Prentice Hall, New Jersey, 1993.
• [54] Oien G.E., Bertelsen N.A., Eftestol T., Husoy J.H., ECG rhythm classification using artificial neural networks, Proc. 1996 IEEE Digital Signal Processing Workshop, 1996, s. 514-517.
• [55] Osowski S., Sieci neuronowe w ujęciu algorytmicznym, WNT, Warszawa, 1996.
• [56] Osowski S., Stodolski M., Bojarczak P., Fast second order learning algorithm for feedforward multilayer neural networks and its applications, Neural Networks, 1996, vol. 9, s. 1583-1596.
• [57] Osowski S., Linh T.H., Siwek K., Selforganizing neural networks versus neurofuzzy networks, ECCT99, Turyn, 1999, s. 527-530.
• [58] Osowski S., Linh T.H., Classical and fuzzy neural networks for classification, ISTET, Magdeburg, 1999, s. 261-265.
• [59] Osowski S., Brudzewski K., Linh T.H., Gas sensing system based on fuzzy hybrid neural network, XXII KKTOiUE, Stare Jabłonki, 1999, s. 605-610.
• [60] Osowski S., Linh T.H., Self-organizing neural and neurofuzzy networks - a comparative study, Archives of Electrical Eng., 1999, vol. 48, s. 199-218.
• [61] Osowski S., Moszczynski L., Linh T.H., Higher order statistics in ECG rhythm recognition and classification, II Ukrainian-Polish Workshop, Solina, 2000, s. 142-146.
• [62] Osowski S., Brudzewski K., Fuzzy self-organising hybrid neural network for gas analysis system, IEEE Trans. on Measurements and Instrumentations, 2000, vol. 49, s. 424-428.
• [63] Osowski S., Sieci neuronowe do przetwarzania informacji, Oficyna Wydawnicza PW, 2000, Warszawa.
• [64] Osowski S., Linh T.H., Fuzzy clustering network for classification of ECG beats, IJCNN Como, 2000, s. 619-623.
• [65] Osowski S., Linh T.H., Neuro-fuzzy TSK network for gas measurements, ISTET, 2001, Linz, s. 242-247.
• [66] Osowski S., Linh T.H., ECG beat recognition using fuzzy hybrid neural network, IEEE Trans. on Biomedical Engineering, vol. 48, No 11, 2001.
• [67] Osowski S., Linh T.H., Rozpoznanie i klasyfikacja rytmów serca przy użyciu sieci neuronowych rozmytych, Software 2.0, 2002, No 2.
• [68] Osowski S., Sieci neuronowe typu SVM w zastosowaniu do klasyfikacji wzorców, Przegląd Elektrotechniczny, No 4, 2002.
• [69] Osowski S., Linh T.H., Neuro-fuzzy TSK network for approximation, Control and Cybernetics, 2002.
• [70] Osowski S., Linh T.H., Brudzewski K., Neuro-fuzzy network for flavour recognition and classification, IEEE Trans. on Instrumentation and Measurements, 2004 (in processing) (also in IEEE Instrumentation and Measurement Technology Conference, Anchorage, USA, May 21-22, 2002, s. 165-170).
• [71] Osowski S., Markiewicz T ., Basa M., Linh T.H., SVM network for texture recognition, Int. Conf. in Signals and Electronic Systems, Wrocław, 2002.
• [72] Osowski S., Linh T.H., Siwek K., Integracja klasyfikatorów neuronowych w zastosowaniu do rozpoznawania rytmów serca, Przegląd Elektrotechniczny, 2002, vol. 78, No 12.
• [73] Osowski S., Linh T .H., Markiewicz T., Support Vector Machine based expert system for reliable heart beat recognition, IEEE Trans. on Biomedical Engineering, 2004 (accepted for publication).
• [74] Pan J.P., Tompkin W., A real time QRS detection algorithm, IEEE Trans. Biomed. Eng., 1985, vol. 32, s. 230-236.
• [75] Platt J., Fast training of SVM using sequential optimization, (in "Advances in kernel methods - support vector learning", Scholkopf B., Burges C., Smoła A. eds), MIT Press, Cambridge, 1998, s. 185-208.
• [76] Rutkowski J., Słownikowe metody diagnostyczne analogowych układów elektronicznych, WKŁ, 2003.
• [77] Rutkowski J., A neural network approach to fault location in nonlinear DC circuits, Proc. Int. Conf. Art. Neural Networks - ICANN Brighton, 1992, North Rolland, J. Alexander and J. Taylor, eds., s. 1123-1126.
• [78] Rutkowska D., Piliński M., Rutkowski L., Sieci neuronowe, algorytmy genetyczne i systemy rozmyte, PWN, Warszawa, 1997.
• [79] Smoła A., Schölkopf B., On a kernel-based method for pattern recognition, regression, approximation and operator inversion, Algorithmica, 1998, vol. 22, s. 211-231.
• [80] Stanke A., Elektrokardiogram bez tajemnic, Via Medica, 1999.
• [81] Strumiłło P., Modelowanie i Analiza sygnału elektrokardiograficznego z zastosowaniem układów i przekształceń nieliniowych, Zeszyty naukowe Nr 906, Politechnika Łódzka, 2002.
• [82] Sugeno M., Kang G.T., Structure identification of fuzzy model, Fuzzy Sets and Systems, 28: 15-33, 1988.
• [83] Tadeusiewicz R., Flasiński M., Rozpoznawanie obrazów, Wydawnictwo Naukowo-Techniczne, Warszawa, 1991.
• [84] Tadeusiewicz R., Sieci neuronowe, Akademicka Oficyna Wydawnicza, Warszawa, 1993.
• [85] Takagi T., Sugeno M., Fuzzy identification of systems and its application to modeling and control, IEEE Trans. SMC, 1985, s. 116-132.
• [86] Tran Hoai Linh, Osowski S., Sieci neuronowe rozmyte samoorganizujące w zastosowaniu do klasyfikacji sygnałów EKG, XXII SPETO, Ustroń, 1999, s. 453-457.
• [87] Tran Hoai Linh, Osowski S., Klasyfikacja sygnałów EKG z użyciem sieci neuronowej rozmytej i kumulantów, XXII SPETO, Ustroń, 2000, s. 441-444.
• [88] Tran Hoai Linh, Osowski S., Brudzewski K., Supervised fuzzy neural networks for gas measurements, XXIII KKTOiUE, 2000, s. 561-566.
• [89] Tran Hoai Linh, Osowski S., Siwek K., Automatic fuzzy competitive clusterization of the data, XXIV SPETO, Ustroń, 2001, s. 565-568.
• [90] Tran Hoai Linh, The Modification of TSK Network in Neuro-fuzzy Systems, XXV SPETO, Ustron, 2002, s. 525-528.
• [91] Tran Hoai Linh, Osowski S., Stodolski M., On-line ECG beat recognition using Hermite polynomials and neuro-fuzzy network, IEEE Trans. on Instrumentation and Measurements, 2003, s. 1224-1232 (also in IEEE Instrumentation and Measurement Technology Conference Anchorage, USA, May 21-22, 2002, s. 1579-1601).
• [92] Tran Hoai Linh, Markiewicz T., Osowski S., Siwek K., Support vector machine and neuro-fuzzy network for heart beat recognition, IV CPEE Workshop, Zakopane, 2002, s. 187-190.
• [93] Tran Hoai Linh, Effective Algorithm of Automatic Building TSK Network In Fuzzy Reasoning Systems, IV CPEE Workshop, Zakopane, 2002, s. 85-88.
• [94] Tran Hoai Linh, Sieci neuronowe rozmyte w rozwiązaniu zadań klasyfikacji i estymacji, praca doktorska Politechniki Warszawskiej, Warszawa, 2000.
• [95] Vapnik V., Statistical learning theory, Wiley, New York, 1995.
• [96] Vapnik V., Golovich S., Smola A., Support vector method for function approximation, regression, esimation and signal processing, (in "Advances in neural information processing systems", ed. Mozer M., Jordan M., Petsche T.), MIT Press, 1997, Cambridge, MA, s. 281-287.
• [97] Vapnik V., An overview of statistical learning theory, IEEE Trans. on Neural Networks, 1999, vol. 10, s. 988-999.
• [98] Vorobyov S. , Cichocki A., Hyperradial basis function neural networks for interference cancellation with nonlinear processing of reference signal, Digital Signal Processing, 2001, vol. 11, s. 204-221.
• [99] Waller A., A demonstration on man of eletromotive changes accompanying the heart's beat, J. Physiol., London, 1887, s. 229-234.
• [100) Wang L.-X., Adaptive fuzzy systems and control, Design and stability analysis, Prentice Hall, New Jersey, 1994.
• [101] Weston J., Watkins C., Multiclass support vector machines, Technical report CSDTR-98-04, University of London, 1998.
• [102] Yager R.R., Filev D.P., Podstawy modelowania i sterowania rozmytego, Wydawnictwa Naukowo-Techniczne, 1995.
• [103] Zadeh L.A., Fuzzy Sets, Information and Control 8, 1965, s. 338-353.
• [104] Zadeh L.A., The concept of a linguistic variable and its application to approximate reasoning, Part 1-2, Information Sciences 8, 1975, s. 199-249, 301-357.
• [105] Zadeh L.A., The concept of a linguistic variable and its application to approximate reasoning, Part 3, Information Sciences 9, 1976, s. 43-80.
• [106] Żurada J., Barski M., Jędruch W., Sztuczne sieci neuronowe, PWN Warszawa, 1997.