Implementacja cyfrowego filtru wygładzającego w środowisku chmurowym

• Autorzy: Czerwiński D.

Identyfikatory

DOI

10.15199/48.2016.03.14

Warianty tytułu

EN

Digital smoothing filter implementation in cloud computing environment

• Języki publikacji: PL

Abstrakty

PL

Artykuł przedstawia wyniki badań eksperymentalnych implementacji cyfrowego filtru wygładzającego Savitzky’ego-Golaya w środowisku chmurowym z wykorzystaniem języka programowania R. Dzisiejsze systemy pomiarowe stosowane w urządzeniach nadprzewodnikowych są w stanie rejestrować ogromne ilości danych eksperymentalnych. Tego typu układy generują liczbę punktów pomiarowych przekraczającą możliwości obróbki w komercyjnych środowiskach eksploracji danych. Rozwiązania chmurowe dedykowane do obróbki dużych ilości danych są w takich przypadkach pewnym rozwiązaniem. W artykule dokonano porównania wyników badań dla implementacji filtru w środowisku chmurowym oraz w komercyjnym rozwiązaniu klasy Enterprise.

EN

The article presents the results of experimental implementation of a digital Savitzky-Golay smoothing filter in the cloud environment using a R programming language. Today's measurement systems used in superconducting devices are capable of recording huge amounts of experimental data. Such systems generate a number of measurement points exceeding the processing capabilities of commercial data mining environments. Cloud computing solutions dedicated to processing large amounts of data in such cases are some way out. Comparison of test results for the implementation of the filter in the cloud environment and in commercial enterprise-class data mining system was presented.

Słowa kluczowe

PL

filtr Savitzky'ego-Golaya; eksploracja danych; środowisko chmurowe; programowanie

EN

Savitzky-Golay filter; data mining; cloud computing; programming

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2016
• Tom: R. 92, nr 3
• Strony: 61--64
• Opis fizyczny: Bibliogr. 31 poz., rys., tab., wykr.

Twórcy

autor

Czerwiński D.

• Politechnika Lubelska, Instytut Informatyki, ul. Nadbystrzycka 36B, 20-618 Lublin

Bibliografia

• [1] Larose D.: Metody i modele eksploracji danych, PWN, Warszawa 2008
• [2] Gruca A.: Raport Obserwatorium ICT: Eksploracja Danych, Park Naukowo-Technologiczny „Technopark Gliwice”, 2013
• [3] Folkert K., Bochenek M., Huczała Ł.: The concept of using data mining methods for creating efficiency and reliability model of middleware applications. Communications in Computer and Information Science, pp 55-62, Springer 2012
• [4] Osowski S.: Metody i narzędzia eksploracji danych, Wyd. BTC 2013
• [5] Jestratjew A., Kwiecień A.: Using cloud storage in production monitoring systems. Communications in Computer and Information Science, s. 226-235, Springer 2010
• [6] Chudzian C., Granat J., Klimasara E., Sobieszek J., Wierzbicki, A. P.: Wykrywanie wiedzy w dużych zbiorach danych: przykład personalizacji inżynierii ontologicznej, Telekomunikacja i Techniki Informacyjne, pp 3-26, 2011
• [7] Ładniak M., Piórkowski A., Młynarczuk M.: Konstrukcja systemów eksploracji danych dla obrazów rastrowych, Studia Informatica, vol. 34 no. 2B, s. 7–20, 2013
• [8] Krauzowicz, L., Szostek, K., Dwornik, M., Oleksik, P., Piórkowski, A.: Numerical Calculations for Geophysics Inversion Problem Using Apache Hadoop Technology. Computer Networks 2012, CCIS vol 291, Springer, pp. 440-447, 2012
• [9] Ohri A.: R for Cloud Computing, An Approach for Data Scientists, Springer 2014
• [10] Laicano A.: Digital signal processing in Hadoop with Scalding, https://github.com/alaiacano/dsp-scalding, 2013
• [11] Ferzli R., Khalife I.: Mobile cloud computing educational tool for image/video processing algorithms, Digital Signal Processing Workshop and IEEE Signal Processing Education Workshop (DSP/SPE), pp 529 – 533, 2011
• [12] Sheng C., Zhao J., Leung H., Wang W.: Extended Kalman Filter Based Echo State Network for Time Series Prediction using MapReduce Framework, Mobile Ad-hoc and Sensor Networks, Ninth IEEE International Conference on. IEEE, pp. 175–180, 2013
• [13] Revolution Analytics, Enterprise Deployment, http://www.revolutionanalytics.com/enterprise-deployment, January 2015
• [14] R technologies from Oracle, http://www.oracle.com/technetwork/topics/bigdata/r-offerings-1566363.html, January 2015
• [15] Renjin: The R Programming language on JVM, http://www.rnejin.org, January 2015
• [16] RAmazonS3, http://www.omegahat.org/RAmazonS3/, January 2015
• [17] Amazon’s Simple DB API, http://aws.amazon.com/simpledb/, January 2015
• [18] Kampf M., Kantelhardt J. W.: Hadoop.TS: Large-Scale Time-Series Processing, International Journal of Computer Applications, vol. 74, 2013
• [19] Li L., Ma Z., Liu L., Fan Y.: Hadoop-based ARIMA Algorithm and its Application in Weather Forecast, International Journal of Database Theory & Application, vol. 6, no. 5, 2013
• [20] Stokely M., Rohani F., Tassone E.: Large-scale Parallel Statistical Forecasting Computations in R, JSM Proceedings, 2011
• [21] Nurmi D, Wolski R, Grzegorczyk Ch, Obertelli G, Soman S, Youseff L, Zagorodnov D: The Eucalyptus Open-source Cloudcomputing System, 9th IEEE/ACM International Symposium on Cluster Computing and the Grid (CCGRID), Vol. 0, 2009, pp. 124-131.
• [22] Donnelly, P., Bui, P., Thain, D.: Attaching Cloud Storage to a Campus Grid Using Parrot, Chirp, and Hadoop, IEEE Second International Conference on Cloud Computing Technology and Science (CloudCom), pp. 488 – 495, 2010
• [23] Czerwiński D.: Influence of the VM Manager on Private Cluster Data Mining System, Computer Networks, Communications in Computer and Information Science, vol 4311, Springer, pp. 47-56, 2014
• [24] Strata 2012: Doug cutting, the apache hadoop ecosystem. http://youtu.be/Ttu3ZQ58ovo, June 2013.
• [25] Cloudera, the platform for Big Data, http://www.cloudera.com, January 2015.
• [26] CDH Version and Packaging Information – Cloudera Support, https://ccp.cloudera.com/display/DOC/CDH+Version+and+Packaging+Information, December 2014.
• [27] Revolution Analytics: Advanced ‘Big Data’ Analytics with R and Hadoop, Whitepaper, http://www.revolutionanalytics.com/whitepaper/advanced-bigdata-analytics-r-and-hadoop, 2011
• [28] Adler J.: R in a Nutshell, second edition, O’Reilly, 2012
• [29] Revolution Analytics, Packages in RHadoop Toolkit, http://projects.revolutionanalytics.com/documents/rhadoop/rhadooppkgs/, January 2015
• [30] Czerwinski D., Jaroszynski L., Janowski T., Kozak J., Majka M.: Analysis of alternating overcurrent response of 2G HTS tape for SFCL, IEEE Transactions on Applied Superconductivity, No 3, vol. 24, 2014
• [31] National Instruments: What Limitations Exist With Channel and File Sizes in DIAdem?, http://digital.ni.com/public.nsf/allkb/B391603F3CD86AE486256FAC00780122, Knowledge Base, updated 2012

Uwagi

Opracowanie ze środków MNiSW w ramach umowy 812/P-DUN/2016 na działalność upowszechniającą naukę.