Weighted prediction method with multiple time series using multi-kernel least squares support vector regression

• Autorzy: Guo Y. M. , Ran C. B. , Li X. L. , Ma J. Z. , Zhang L.

Warianty tytułu

PL

Metoda ważonej predykcji wielokrotnych szeregów czasowych z wykorzystaniem wielojądrowej regresji wektorów wspierających metodą najmniejszych kwadratów (LS-SVR)

• Języki publikacji: EN

Abstrakty

EN

Least squares support vector regression (LS-SVR) has been widely applied in time series prediction. Based on the case that one fault mode may be represented by multiple relevant time series, we utilize multiple time series to enrich the prediction information hiding in time series data, and use multi-kernel to fully map the information into high dimensional feature space, then a weighted time series prediction method with multi-kernel LS-SVR is proposed to attain better prediction performance in this paper. The main contributions of this method include three parts. Firstly, a simple approach is proposed to determine the combining weights of multiple basis kernels; Secondly, the internal correlative levels of multiple relevant time series are computed to present the different contributions of prediction results; Thirdly, we propose a new weight function to describe each data's different effect on the prediction accuracy. The experiment results indicate the effectiveness of the proposed method in both better prediction accuracy and less computation time. It maybe has more application value.

PL

Regresja wektorów wspierających metodą najmniejszych kwadratów (LS-SVR) jest szeroko stosowana w predykcji szeregów czasowych. Opierając się na fakcie, że jeden rodzaj niezdatności może być reprezentowany przez wiele relewantnych szeregów czasowych, w niniejszej pracy wykorzystano wielokrotne szeregi czasowe do wzbogacenia informacji predykcyjnych ukrytych w szeregach czasowych oraz posłużono się metodą uczenia wielojądrowego (multi-kernel) w celu mapowania informacji do wysoko wymiarowej przestrzeni cech, a następnie zaproponowano metodę ważonej predykcji wielokrotnych szeregów czasowych z wykorzystaniem wielojądrowej regresji LS-SVR służącą osiągnięciu lepszej wydajności prognozowania.Metoda składa się z trzech głównych części. Po pierwsze, zaproponowano prosty sposób określania łącznej wagi wielu jąder podstawowych. Po drugie, obliczono wewnętrzne poziomy korelacyjne wielokrotnych szeregów czasowych w celu przedstawienia różnego udziału wyników prognozowania. Po trzecie, zaproponowano nową funkcję wagi do opisu różnego wpływu poszczególnych danych na trafność predykcji. Wyniki doświadczenia wskazują na skuteczność proponowanej metody zarówno jeśli chodzi o lepszą trafność predykcji jak i krótszy czas obliczeniowy. Proponowane rozwiązanie ma potencjalnie dużą wartość aplikacyjną.

Słowa kluczowe

EN

time series; weighted prediction; least squares support vector regression (LS-SVR); multiple kernel learning (MKL)

PL

szereg czasowy; predykcja ważona; regresja wektorów wspierających metodą najmniejszych kwadratów (LS-SVR); uczenie wielojądrowe (MKL)

• Wydawca: Polskie Naukowo-Techniczne Towarzystwo Eksploatacyjne
• Czasopismo: Eksploatacja i Niezawodność
• Rocznik: 2013
• Tom: Vol. 15, no. 2
• Strony: 188--194
• Opis fizyczny: Bibliogr. 37 poz.

Twórcy

autor

Guo Y. M.

autor

Ran C. B.

autor

Li X. L.

autor

Ma J. Z.

autor

Zhang L.

• School of Computer Science and Technology Northwestern Polytechnical University Youyi West Road 127, Xi'an Shaanxi, 710072 P. R. China,

Bibliografia

• 1. Andersen ED, Andersen AD. The MOSEK interior point optimizer for linear programming: an implementation of the homogeneous algorithm. In High performance optimization Norewll, Frenk H, Roos C, Terlaky T, Zhang S (eds.), Kluwer Academic Publishers, 2000.
• 2. Caesarendra W, Widodo A, Pham Hong Thom, Bo-Suk Yang, Setiawan JD. Combined Probability Approach and Indirect Data-Driven Method for Bearing Degradation Prognostics. IEEE Transactions on Reliability 2011; 60(1):14–20.
• 3. Deng JL. The primary methods of grey system theory. Wuhan: Huazhong University of Science and Technology Press, 2004.
• 4. Freund JE. Mathematical statistics (5th ed.) Upper Saddle River, NJ: Prentice Hall,1992.
• 5. Guo HB, Guan XQ. Application of Least Squares Support Vector Regression in Network Flow Forecasting. The 2nd International Conference on Computer Engineering and Technology, April, 2010.
• 6. Guo YM, Zhai ZJ, Jiang HM. Weighted prediction of multi-parameter chaotic time series using least squares support vector regression. Journal of Northwestern Polytechnical University 2009; 27(1):83–86.
• 7. Goldman RN, Weinberg JS. Statistics: an introduction. Upper Saddle River, NJ: Prentice Hall, 1985
• 8. Hansen JV, Nelson RD. Neural networks and traditional time series methods: A synergistic combination in state economic forecasts. IEEE transactions on Neural Networks 1997; 8(4):863–873.
• 9. Jian L, Xia Z H, Liang X J, Gao C H. Design of a multiple kernel learning algorithm for LS-SVM by convex programming. Neural Networks 2011; (24):476–483.
• 10. Kecman V. Learning and soft computing: support vector machines, neural networks, and fuzzy logic models. Cambridge, MA,USA: MIT Press, 2001.
• 11. Krzanowski WJ. Principles of multivariate analysis: a user’s perspective. Oxford, England: Clarendon, 1988.
• 12. Liu DT, Wang SJ, Peng Y, Peng XY. Online adaptive status prediction strategy for data-driven fault prognostics of complex systems. 2011 IEEE conference on autotestcon, Sep. 2011.
• 13. Lanckriet GR, Cristianini N, Bartlett P L, Ghaoui L E, Jordan M I. Learning the kernel matrix with semidefinite programming. Journal of Machine Learning Research 2004; (5):27-72.
• 14. Li M, Xu JW, Yang JH, Yang DB. Prediction for chaotic time series based on phase reconstruction of multivariate time series. Journal of University of Science and Technology Beijing 2008; 30(2): 208–211,216.
• 15. Michael P, Rubyca J. A prognostics and health management roadmap for information and electronics-rich systems. IEICE Fundamentals Review 2010; 3(4 ):25–32.
• 16. Muller KR, Smola AJ, Ratsch G, et al. Predicting time series with support vector machines. Artificial Neural Networks 1997; 1327(4):999-1004.
• 17. Nazih AS, Fawwaz E, Osama M A. Medium-term electric load forecasting using multivariable linear and non-Linear regression. Smart Grid and Renewable Energy 2011; 2:126-135.
• 18. Ojeda F, Suykens J, De MB. Low rank update LS-SVM classifiers for fast variable selection. Neural Network 2008; 21:443-449.
• 19. Qu J, Zuo MJ. An LSSVR-based algorithm for online system condition prognostics. Expert Systems with Applications 2012; 39(5):6089-6102.
• 20. Qu J, Zuo MJ. An LSSVR-based machine condition prognostics algorithm for slurry pump systems. Proceedings of the Canadian Society for Mechanical Engineering Forum 2010, June, 2010.
• 21. Qin Y Q, Cai WD, Yang BR. Research on phase space reconstruction of non-linear time series. Journal of System Simulation 2008; 20(11): 2969–2973.
• 22. Rodriguez RN, Correlation. In: Kotz S, Johnson N.L., eds. Encyclopedia of statistical sciences. New York, NY: Wiley, 1982.
• 23. Suykens JAK, Van GT, De BJ, De MB, Vandewaller J. Least squares support vector machines. World Scientific Publishing, 2002.
• 24. Sonnenburg S, Räosch G, Schäer C, Schökopf B. Large scale multiple kernel learning. Journal of Machine Learning Research 2006; 7:1531–1565.
• 25. Suykens JAK, Vandewalle J. Least square support vector machines. IEEE Transactions on Circuits and Systems-I 2000; 47(7):1109–1114.
• 26. Tay FEH, Cao L. Application of support vector machines in financial time series forecasting. The International Journal of Management Science (Omega) 2001; 29: 309–317.
• 27. Vapnik V. The nature of statistical learning theory. New York, USA Springer Verlag,1995.
• 28. Vapnik V. Statistical learning theory. John Wiley and Sons, New York, 1998.
• 29. Wang Z, Chen S, Sun T. MultiK-MHKS: A novel multiple kernel learning algorithm. IEEE Transactions on Pattern Analysis and Machine Intelligence 2008;30(2):348–353.
• 30. Wang H Q, Sun F C, Cai Y N, Chen N, Ding L G. On multiple kernel learning methods. Acta Automatica Sinica 2010; 36(8):1037–1050.
• 31. Ye M Y, Wang X D, Zhang H R. Chaotic time series forecasting using online least squares support Vector machine regression. Acta Physica Sinica 2005; 54(6):2568-2573.
• 32. Zhao X H, Wang G, Zhao K K, Tan D J. On-line least squares support vector machine algorithm in gas prdecion. Mining Science and Technology 2009; 19:194-198.
• 33. Zhao Y H, Zhong P, Wang K N. Application of least squares support vector regression based on time series in prediction of gas. Journal of Convergence Information Technology 2011; 6(1):243-250.
• 34. Zhang W M, Li C X, Zhong B L. LSSVM parameters optimizing and non-linear system prediction based on cross validation. The fifth International Conference on Natural Computation, Aug, 2009.
• 35. Zhang X R, Hu L Y, Wang Z S. Multiple kernel support vector regression for economic forecasting. International Conference on Management Science & Engineering (17th), November, 2010.
• 36. Zhang J F, Hu S S. Chaotic time series prediction based on multi-kernel learning support vector regression. ACTA Physica Sinica (Chinese Physics) 2008; 57(5):2708–2713.
• 37. Zheng XX, Qian F. Based on the support vector machine online modeling and application. Information and Control 2005; (5):636–640.