Improving the performance of machine learning with sequential feature selection and grid search

• Autorzy: Assegie Tsehay Admassu , Murugan Sangeetha , Govindarajan Rajkumar , Napa Komal Kumar , Nageswari D.

Identyfikatory

DOI

10.15199/48.2024.07.29

Warianty tytułu

PL

Poprawa wydajności uczenia maszynowego dzięki sekwencyjnemu wyborowi funkcji i przeszukiwaniu siatki

• Języki publikacji: EN

Abstrakty

EN

Feature selection is an important step in developing accurate machine-learning models for classification tasks, including wine quality prediction. The accuracy of the machine learning model depends on the selection of relevant features that contribute to the predicted outcome. In this paper, we propose two commonly used optimization methods, forward sequential feature selection (SFS), and grid search, to identify the most relevant features for wine quality prediction using K-nearest neighbor (KNN). We used a dataset of 1598 samples with 11 wine-quality features and evaluated the performance of the KNN model trained on different subsets of features selected SFS. The result suggests that SFS and gird search are effective methods for wine quality prediction using KNN. The identified wine quality features help to predict the quality of wine more accurately, leading to better predictive outcomes. Thus, machine learning models can benefit greatly from the use of grid search and SFS. By fine-tuning the model in this way, it is possible to achieve better results in applications where accuracy and speed are important. As machine learning continues to be used in a wide range of industries, the use of these techniques will become increasingly important. Further research is needed to validate the model on larger datasets and to integrate it into practical classification or predictive analysis.

PL

Wybór funkcji to ważny krok w opracowywaniu dokładnych modeli uczenia maszynowego do celów klasyfikacji, w tym przewidywania jakości wina. Dokładność modelu uczenia maszynowego zależy od wyboru odpowiednich cech, które przyczyniają się do przewidywanego wyniku. W tym artykule proponujemy dwie powszechnie stosowane metody optymalizacji, sekwencyjny wybór cech w przód (SFS) i przeszukiwanie siatki, aby zidentyfikować cechy najbardziej odpowiednie do przewidywania jakości wina za pomocą K-najbliższego sąsiada (KNN). Wykorzystaliśmy zbiór danych obejmujący 178 próbek z 13 cechami jakości wina i oceniliśmy działanie modelu KNN wyszkolonego na różnych podzbiorach wybranych cech FSFS. Wynik sugeruje, że SFS i przeszukiwanie pasów są skutecznymi metodami przewidywania jakości wina za pomocą KNN. Zidentyfikowane cechy jakości wina pomagają dokładniej przewidzieć jakość wina, co prowadzi do lepszych wyników predykcyjnych. Zatem modele uczenia maszynowego mogą w znacznym stopniu skorzystać na wykorzystaniu wyszukiwania siatki i SFS. Dostrajając w ten sposób model, możliwe jest osiągnięcie lepszych wyników w zastosowaniach, w których ważna jest dokładność i szybkość. Ponieważ uczenie maszynowe jest w dalszym ciągu wykorzystywane w wielu gałęziach przemysłu, wykorzystanie tych technik będzie zyskiwać na znaczeniu. Konieczne są dalsze badania, aby zweryfikować model na większych zbiorach danych i włączyć go do praktycznej klasyfikacji lub analizy predykcyjnej.

Słowa kluczowe

EN

k-nearest neighbor; parameter tuning; machine learning

PL

jakość wina; dostrajanie parametrów; uczenie maszynowe

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2024
• Tom: R. 100, nr 7
• Strony: 140--143
• Opis fizyczny: Bibliogr. 12 poz., rys., tab.

Twórcy

autor

Assegie Tsehay Admassu

• School of Electronic and Electrical Engineering, Kyungpook National University, Daegu, Republic of Korea

• https://orcid.org/0000-0003-1566-0901

autor

Murugan Sangeetha

• Department of Computer Science & Engineering, Madanapalle Institute of Technology & Science, Madanapalle, Andhra Pradesh, India

autor

Govindarajan Rajkumar

• Department of Computer Science & Engineering (Data Science), Madanapalle Institute of Technology & Science, Madanapalle, Andhra Pradesh, India

autor

Napa Komal Kumar

• Department of Computer Science & Engineering (Data Science), Madanapalle Institute of Technology & Science, Madanapalle, Andhra Pradesh, India

• https://orcid.org/0000-0001-8662-0224

autor

Nageswari D.

• Department of Science & Humanities (General Engineering-EEE), R.M.K. College of Engineering and Technology, Thiruvallur, Tamil Nadu, India

Bibliografia

• [1] Dahal R., Dahal N. Banjade H. Gaire S., Prediction of Wine Quality Using Machine Learning Algorithms, Open Journal of Statistics, 2021, 11, 278-289 https://www.scirp.org/journal/ojs
• [2] Radzi S. et al.,, Hyperparameter Tuning and Pipeline Optimization via Grid Search Method and Tree-Based AutoML in Breast Cancer Prediction, J. Pers. Med. 2021, 11, 978. https://doi.org/10.3390/ jpm11100978.
• [3] Siva S., Jayakumar C., Opportunities and Challenges of Feature Selection Methods for High Dimensional Data: A Review, Ingénierie des Systèmes d’Information, vol. 26, No. 1, February, 2021, pp. 67-77.
• [4] Siphendulwe Z., Marcellin A., Sisipho H., Wine feature importance and quality prediction: A comparative study of machine learning algorithms with unbalanced data, arXiv: 2310.01584v1 [stat.AP] 2 Oct 2023.
• [5] Yasser A., Emad A., Muna A., and Ali M., Hyperparameter Search for Machine Learning Algorithms for Optimizing the Computational Complexity, Processes. 2023, 11, 349. https:// doi.org/10.3390/pr11020349.
• [6] Khushboo J., Keshav K., Sachin K., Shubham M., Seifedine K., Machine learning-based predictive modeling for the enhancement of wine quality, Scientific Reports, 2023, https://doi.org/10.1038/s41598-023-44111-9.
• [7] Jörn L., and Alfred U., Enhancing Explainable Machine Learning by Reconsidering Initially Unselected Items in Feature Selection for Classification, Bioinformatics, 2022, 2, 701–714. https://doi.org/10.3390/biomedinformatics2040047.
• [8] Ritu A., and Saurabh P., Sequential Feature Selection and Machine Learning Algorithm-Based Patient’s Death Events Prediction and Diagnosis in Heart Disease, SN Computer Science, 2020, https://doi.org/10.1007/s42979-020-00370-1.
• [9] Yogesh G., Selection of Important and Predicting Wine Quality Using Machine Learning Techniques, Porceedia Computer Science, 2018, 10.1016/j.procs.2017.12.041.
• [10] Terry C., Chienwen W., and Chun C., A Generalized Wine Quality Prediction Framework by Evolutionary Algorithms, International Journal of Interactive Multimedia and Artificial Intelligence, Vol. 6, April 2021.
• [11] Wiharto, Esti S., and Sigit S., Framework Two-Tier Feature Selection on the Intelligence System Model for Detecting Coronary Heart Disease, Ingénierie des Systèmes d’Information, vol. 26, No. 6, December, 2021, pp. 541-547.
• [12] Sathishkumar M., Reshmy K., Sabaria S., Prasannavenkatesan T., An investigation of wine quality testing using machine learning techniques, IAES International Journal of Artificial Intelligence, vol. 12, no. 2, June 2023, pp. 747~754 ISSN: 2252-8938, DOI: 10.11591/ijai.v12.i2.pp747-754.

Uwagi

Opracowanie rekordu ze środków MNiSW, umowa nr POPUL/SP/0154/2024/02 w ramach programu "Społeczna odpowiedzialność nauki II" - moduł: Popularyzacja nauki i promocja sportu (2025).