Method of hybrid logical classification trees basedon group selection of discrete features

• Autorzy: Povkhan Igor , Leheza Andrii , Mulesa Oksana , Melnyk Olena , Kintonova Aliya

Identyfikatory

DOI

10.35784/iapgos.6957

Warianty tytułu

PL

Metoda hybrydowych logicznych drzew klasyfikacyjnych opartychna grupowym wyborze cech dyskretnych

• Języki publikacji: EN

Abstrakty

EN

The paper considers the problems of automating the construction of classification trees based on the scheme of branched feature selection.The object of research is classification trees. The subject of research is methods, algorithms, and schemes for constructing classification trees. The aimof this work is to build an effective method (scheme) for synthesizing classification tree models based on a group assessmentof the importance of discrete features within a branched attribute selection. A method forconstructing classification trees is proposed, which for a given training sample determinesthe individual information content (importance) of groups of features (and their combinations) in relation to the initial value of the classification function (data from the training sample). The developed logical tree method, when constructing the next node of the classification tree, tries to identify a groupof the most closely interrelated discrete features, this reduces the overall structural complexity of the model (the number of levels of the classification tree), speeds up calculations when recognizing objects based on the model, and also increases the generalizing properties of the model and its enterprise.The proposed scheme for selecting groups of discrete traits allows using the constructed decision tree to assess the informative value (importance)of traits. The developed classification tree method is implemented programmatically and studied when solving the problem of classifying discrete objects represented by a set of features. The conducted experiments confirmed the operability of the proposed mathematical support and allow us to recommendit for use in practice in solving applied problems of classification of discrete objects based on logical classification trees.Prospects for further research may consist in creating a modified method of the logical classification tree by effectively iterating and evaluating sets of elementary features basedon the proposed method, optimizing its software implementations, and experimentally studying the proposed method on a wider set of applied problems.

PL

W artykule rozważono problemy związane z automatyzacją tworzenia drzew klasyfikacyjnych w oparciu o schemat rozgałęzionego wyboru cech. Przedmiotem badań są drzewa klasyfikacyjne. Tematem badań są metody, algorytmy i schematy tworzenia drzew klasyfikacyjnych. Celem niniejszej pracy jest opracowanie skutecznej metody (schematu) syntezy modeli drzew klasyfikacyjnych w oparciu o grupową ocenę znaczeniacech dyskretnychw ramach rozgałęzionego wyboru atrybutów. Zaproponowano metodę konstruowania drzew klasyfikacyjnych, która dla danej próbki szkoleniowej określa indywidualną zawartość informacyjną (znaczenie) grup cech (i ich kombinacji) w odniesieniu do wartości początkowej funkcji klasyfikacyjnej (danez próbki szkoleniowej). Opracowana metoda drzewa logicznego, podczas konstruowania kolejnego węzła drzewa klasyfikacyjnego, próbuje zidentyfikować grupę najbardziej powiązanych ze sobą cech dyskretnych, co zmniejsza ogólną złożoność strukturalną modelu (liczbę poziomów drzewa klasyfikacyjnego), przyspiesza obliczenia podczas rozpoznawania obiektów na podstawie modelu, a także zwiększa właściwości uogólniające modelu i jego przedsiębiorstwa. Proponowany schemat wyboru grup cech dyskretnych pozwala na wykorzystanie skonstruowanego drzewa decyzyjnego do oceny wartości informacyjnej (znaczenia) cech. Opracowana metoda drzewa klasyfikacyjnego została zaimplementowana programowo i zbadana podczas rozwiązywania problemu klasyfikacji obiektów dyskretnych reprezentowanych przez zbiór cech. Przeprowadzone eksperymenty potwierdziły funkcjonalność proponowanego wsparcia matematycznego i pozwalają nam polecić je do praktycznego zastosowania w rozwiązywaniu problemów stosowanych związanych z klasyfikacją obiektów dyskretnych w oparciu o logiczne drzewa klasyfikacyjne. Perspektywydalszych badań mogą polegać na stworzeniu zmodyfikowanej metody logicznego drzewa klasyfikacyjnego poprzez skuteczne iterowanie i ocenę zestawów cech elementarnych w oparciu o proponowaną metodę, optymalizację jej implementacji programowych oraz eksperymentalne badanie proponowanej metody na szerszym zestawie problemów stosowanych.

Słowa kluczowe

EN

decision tree; classifier; discrete feature; branchingcriterion

PL

drzewo decyzyjne; klasyfikator; cecha dyskretna; kryterium rozgałęzienia

• Wydawca: Wydawnictwo Politechniki Lubelskiej
• Czasopismo: Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska
• Rocznik: 2025
• Tom: T. 15, nr 3
• Strony: 15--21
• Opis fizyczny: Bibliogr. 30 poz., tab.

Twórcy

autor

Povkhan Igor

• Uzhhorod National University, Department of Systems Software, Uzhgorod, Ukraine

• https://orcid.org/0000-0002-1681-3466+

autor

Leheza Andrii

• Uzhhorod National University, Department of Systems Software, Uzhgorod, Ukraine

• https://orcid.org/0000-0001-8416-8836+

autor

Mulesa Oksana

• Uzhhorod National University, Department of Systems Software, Uzhgorod, Ukraine

• https://orcid.org/0000-0002-6117-5846+

autor

Melnyk Olena

• Uzhhorod National University, Department of Systems Software, Uzhgorod, Ukraine

• https://orcid.org/0000-0001-7340-8451+

autor

Kintonova Aliya

• L.N. Gumilyov Eurasian National University, Department of Artificial Intelligence Technologies, Astana, Kazakhstan

• https://orcid.org/0000-0002-8405-5038+

Bibliografia

• [1] Bodyanskiy Y., et al.: Hybrid neuro-neo-fuzzy system and its adaptive learning algorithm. Xth International Conference on Computer Science and Information Technologies – CSIT 2015, Ukraine, 2015, 111–114.
• [2] Bodyanskiy Y.V., Shafronenko A.Y., Pliss I.P.: Credibilistic fuzzy clustering based on evolutionary method of crazy cats. System Research and Information Technologies 3, 8893.2021.3.09]. 2021, 110–119 [https://doi.org/10.20535/SRIT.2308
• [3] Breiman L. L., et al.: Classification and regression trees. Chapman and Hall, 1984.
• [4] Dang M., et al.: Computer Vision for Plant Disease Recognition: A Comprehensive Review. The Botanical Review 90(3), 2024, 251–311 [https://doi.org/10.1007/s12229-024-09299-z].
• [5] De Mántaras R. L.: A distance-based attribute selection measure for decision tree induction. Machine learning 6(1), 1991, 81–92.
• [6] Deng H., Runger G., Tuv E.: Bias of importance measures for multi-valued attributes and solutions. 21st International Conference on Artificial Neural Networks – ICANN 2011, Finland, 2011, Part II, 293–300 [https://doi.org/0.1007/978-3-642-21738-8_38].
• [7] Ferreira J. J., de Souza Monteiro M.: Do ML Experts Discuss Explainability for AI Systems? A discussion case in the industry for a domain-specific solution. arXiv, 2002.12450, 2020.
• [8] Hastie T., Tibshirani R., Friedman J.: The Elements of Statistical Learning. Springer, 2008.
• [9] Harakannanavar S. S., et al.: Plant Leaf Disease Detection Using Computer Vision and Machine Learning Algorithms. Global Transitions Proceedings 3(1), 2022, 305–310 [https://doi.org/10.1016/j.gltp.2022.03.016].
• [10] Imamovic D., Babovic E., Bijedic N.: Prediction of mortality in patients with cardiovascular disease using data mining methods. 19th International Symposium Infoteh-Jahorina – INFOTEH, Bosnia and Herzegovina, 2020, 1–4 [https://doi.org/10.1109/INFOTEH48170.2020.9066297].
• [11] Jaman S. F. I., Anshari M.: Facebook as marketing tools for organizations: Knowledge management analysis. Dynamic perspectives on globalization and sustainable business in Asia. IGI Global 2019, 92–105 [https://doi.org/10.4018/978-1-5225-7095-0.ch007].
• [12] Kamiński B., Jakubczyk M., Szufel P.: A framework for sensitivity analysis of decision trees. Central European Journal of Operations Research 26(1), 2017, 135–159.
• [13] Karimi K., Hamilton H.: Generation and Interpretation of Temporal Decision Rules. International Journal of Computer Information Systems and Industrial Management Applications 3, 2011, 314–323.
• [14] Kintonova A., et al.: Improvement of iris recognition technology for biometric identification of a person. Eastern-European Journal of Enterprise Technologies 6(2(120)), 2023, 60–69 [https://doi.org/10.15587/1729-4061.2022.269948].
• [15] Koskimaki H., et al.: Two-level clustering approach to training data instance selection: a case study for the steel industry. IEEE International Joint Conference on Neural Networks – IJCNN 2008, Hong Kong, 2008, 3044–3049 [https://doi.org/10.1109/ijcnn.2008.4634228].
• [16] Kotsiantis S. B.: Supervised Machine Learning: A Review of Classification Techniques. Informatica 31, 2007, 249–268.
• [17] Miyakawa M.: Criteria for selecting a variable in the construction of efficient decision trees. IEEE Transactions on Computers 38(1), 1989, 130–141.
• [18] Nayak A., et al.: Leveraging BERT-Enhanced MLP Classifier for Automated Stress Detection in Social Media Articles. International Conference on Advances in Computing Research on Science Engineering and Technology –ACROSET, IEEE, 2024 [https://doi.org/10.1109/ACROSET62108.2024.10743857].
• [19] Orazbayev B., et al.: Decision-making in the fuzzy environment on the basis of various compromise schemes. Procedia computer science 120, 2017, 945–952 [https://doi.org/10.1016/j.procs.2017.11.330].
• [20] Painsky A., Rosset S.: Cross-validated variable selection in tree-based methods improves predictive performance. IEEE Transactions on Pattern Analysis and Machine Intelligence 39(11), 2017, 2142–2153 [https://doi:10.1109/tpami.2016.2636831].
• [21] Povkhan I.: Classification models of flood-related events based on algorithmic trees. Eastern-European Journal of Enterprise Technologies 6(4), 2020, 58–68 [https://doi.org/10.15587/1729-4061.2020.219525].
• [22] Povkhan I., et al.: The issue of efficient generation of generalized features in algorithmic classification tree methods. IEEE Third International Conference on Data Stream Mining & Processing – DSMP–2020, Ukraine, 2020, 98–113.
• [23] Povkhan I., Lupei M.: The algorithmic classification trees. IEEE Third International Conference on Data Stream Mining & Processing (DSMP–2020), Ukraine, 2020, 37–44.
• [24] Quinlan J. R.: Induction of Decision Trees. Machine Learning 1, 1986, 81–106.
• [25] Rabcan J., et al.: Application of Fuzzy Decision Tree for Signal Classification. IEEE Transactions on Industrial Informatics 15(10), 2019, 5425–5434 [https://doi.org/10.1109/tii.2019.2904845].
• [26] Shyshatskyi A.: Complex Methods of Processing Different Data in Intellectual Systems for Decision Support System. International Journal of Advanced Trends in Computer Science and Engineering 9(4), 2020, 5583–5590 [https://doi.org/10.30534/ijatcse/2020/206942020].
• [27] Strilets V. E., et al.: Methods of machine learning in the problems of system analysis and decision making. Karazin Kharkiv National University, 2020.
• [28] Subbotin S. A.: Construction of decision trees for the case of low-information features. Radio Electronics, Computer Science, Control 1, 2019, 121–130 [https://doi.org/10.15588/1607-3274-2019-1-12].
• [29] Wang M., Deng W.: Deep face recognition: A survey. Neurocomputing 429, 2021, 215–244 [https://doi.org/10.1109/SIBGRAPI.2018.00067].
• [30] Zhuravlev Y. I., Nikiforov V. V.: Recognition algorithms based on the calculation of estimates. Cybernetics 3, 1971, 1–11.