Analysis of new method of initialisation of neuro - fuzzy systems with support vector machines

• Autorzy: Simiński K.

Warianty tytułu

PL

Analiza nowej metody inicjalizacji systemów neuronowo – rozmytych z wykorzystaniem maszyn wektorów wspierających

• Języki publikacji: EN

Abstrakty

EN

The correspondence between support vector machines and neuro-fuzzy systems is very interesting. The full equivalence for classification and partial for regression has been formally shown. The equivalence has very interesting implication. It is a base for a new method of initialization of neurofuzzy systems, ie. for creating of fuzzy rule base. The commonly used methods are based on reversion of item: the premises of fuzzy rules split input domain into region, thus premises of fuzzy rules can be elaborated by partition of input domain. This leads to three main classes of partition of input domain. The above mentioned equivalence results in new way of creating the rule base. Now the input domain is not partitioned, but the premises of fuzzy rules are extracted from support vector. The objective of the paper is to examine the advantages and disadvantages of this new method for creation of fuzzy rule bases for neuro-fuzzy systems.

PL

Związek pomiedzy maszynami wektorów podpierajacych i systemami neuronoworozmytymi jest bardzo interesujący. Została wykazana pełna odpowiedniość między tymi systemami dla klasyfikacji i częściowa dla regresji. Odpowiedność ta ma bardzo ważną konsekwencję. Jest podstawa do opracowania nowego sposobu tworzenia bazy reguł dla systemu neuronowo-rozmytego. Dotychczasowe metody opieraja się na podziale przestrzeni wejściowej, a następnie przekształcenia tak powstałych regionów w przesłanki rozmytych reguł. Tutaj możliwe jest przekształcanie wektorów wspierających na przesłanki reguł rozmytych. Celem artykułu jest przebadanie możliwości stosowania takiego podejścia do inicjalizacji systemów neuronowo-rozmytych. Eksperymenty wykazują dosć istotną wadę tego podejścia. W jego wyniku powstają bardzo liczne zbiory reguł rozmytych, co zupełnie przeczy idei interpretowalności wiedzy w systemach neuronowo-rozmytych. Manipulacja pewnymi parametrami umożliwia zmiejszenie liczby reguł, jednak manipulacja ta jest trudna i wymaga wielu prób. Drugą dość istotna wadą jest wyraźnie wyższy błąd wypracowywany przez systemy inicjalizowane przez SVM w porównaniu do systemów, których bazy reguł tworzone sa˛ poprzez podział przestrzeni wejściowej.

Słowa kluczowe

EN

support vector machine (SVM); neuro-fuzzy system; classification; regression

• Wydawca: Instytut Informatyki Teoretycznej i Stosowanej Polskiej Akademii Nauk
• Czasopismo: Theoretical and Applied Informatics
• Rocznik: 2012
• Tom: Vol. 24, No. 3
• Strony: 243--254
• Opis fizyczny: Bibliogr. 21 poz., rys.

Twórcy

autor

Simiński K.

• Institute of Informatics, Silesian University of Technology ul. Akademicka 16, 44-100 Gliwice, Poland,

Bibliografia

• 1. A.M.R. Aguirre: Sistema híbrido neuro-fuzzy-genético para mineração automática de dados, Master’s thesis, Pontifíca Universidade Católica do Rio de Janeiro, 2004.
• 2. Y. Chen: Support vector machines and fuzzy systems, In Oded Maimon and Lior Rokach, editors, Soft Computing for Knowledge Discovery and Data Mining, pages 205–223.Springer, 2008.
• 3. Y. Chen, J.Z. Wang: Support vector learning for fuzzy rule-based classification systems, IEEE Transactions on Fuzzy Systems, 11(6):716–728, 2003.
• 4. J.-H. Chiang, P.-Y. Hao: Support vector learning mechanism for fuzzy rule-based modeling:a new approach, IEEE Transactions on Fuzzy Systems, 12(1):1–12, 2004.
• 5. E. Czogała, J. Łęski: Fuzzy and Neuro-Fuzzy Intelligent Systems, Series in Fuzziness and Soft Computing. Physica-Verlag, A Springer-Verlag Company, Heidelberg, New York, 2000.
• 6. D. Dubois, H. Prade: Operations on fuzzy numbers, International Journal of Systems Science, 9(6):613–626, 1978.
• 7. Thorsten Joachims: Making large-scale SVM learning practical, In Bernhard Schölkopf, Christopher J.C. Burges, and A. Smola, editors, Advances in Kernel Methods – Support Vector Learning, Cambridge, MA, USA, 1999. MIT Press.
• 8. J. Łęski: Neuro-fuzzy systems (in Polish: Systemy neuronowo-rozmyte), Wydawnictwa Naukowo-Techniczne, Warszawa, 2008.
• 9. J. Łęski, E. Czogała: A new artificial neural network based fuzzy inference system with moving consequents in if-then rules and selected applications, Fuzzy Sets and Systems, 108(3):289–297, 1999.
• 10. M.C. Mackey, L. Glass: Oscillation and chaos in physiological control systems, Science, 197(4300):287–289, July 1977.
• 11. O. Nelles, R. Isermann: Basis function networks for interpolation of local linear models, Proceedings of the 35th IEEE Conference on Decision and Control, 1:470–475, 1996.
• 12. O. Nelles, A. Fink, R. Babuška, M. Setnes: Comparison of two construction algorithms for Takagi-Sugeno fuzzy models, International Journal of Applied Mathematics and Computer Science, 10(4):835–855, 2000.
• 13. R. Senhadji, S. Sanchez-Solano, A. Barriga, I. Baturone, F.J. Moreno-Velo: Norfrea: An algorithm for non redundant fuzzy rule extraction, 2002 IEEE International Conference on Systems, Man and Cybernetics, 1:604–608, Oct. 2002.
• 14. K. Simiński: Neuro-fuzzy system with hierarchical partition of input domain, Studia Informatica, 29(4A (80)):43–53, 2008.
• 15. K. Simiński: Patchwork neuro-fuzzy system with hierarchical domain partition, In Marek Kurzy´nski and Michał Woźniak, editors, Computer Recognition Systems 3, volume 57 of Advances in Intelligent and Soft Computing, pages 11–18. Springer-Verlag, Berlin, Heidelberg, 2009.
• 16. K. Simiński: Remark on membership functions in neuro-fuzzy systems, In Krzysztof A. Cyran, Stanisław Kozielski, James F. Peters, Urszula Sta´nczyk, and AlicjaWakulicz-Deja, editors, Man-Machine Interactions, volume 59 of Advances in Intelligent and Soft Computing, pages 291–297. Springer Berlin/Heidelberg, 2009. 10.1007/978-3-642-00563-3_30.
• 17. F.J. de Souza, M.B.R. Vellasco, M.A.C. Pacheco: Load forecasting with the hierarchical neuro-fuzzy binary space partitioning model, Int. J. Comput. Syst. Signal, 3(2):118–132, 2002.
• 18. F.J. de Souza, M.M.R. Vellasco, M.A.C. Pacheco: Hierarchical neuro-fuzzy quadtree models, Fuzzy Sets and Systems, 130(2):189–205, 2002