Celem artykułu było porównanie trzech narzędzi do przygotowywania i przeprowadzania testów automatycznych –JUnit5, TestNG oraz Spock. Zrealizowane badania obejmowały wykonanie serii trzech eksperymentów, na które się składały testy wydajnościowe, opar te na pięciu scenariuszach testowych, testy funkcjonalne sprawdzające możliwości każdego z narzędzi oraz testy popularności i wsparcia. Eksperyment wydajnościowy polegał na skonfigurowaniu środowiska testowego, przygotowaniu testów bazujących na opracowanych scenariuszach, wielokrotnym ich wykonaniu, a następnie weryfikacji i analizie uzyskanych wyników czasowych. Porównanie możliwości narzędzi opierało się na wyodrębnieniu zestawu kluczowych funkcjonalności oprogramowania służącego do opracowywania testów. Ostatnia analiza polegała na porównaniu popularności badanych platform testowych i zrealizowana została na podstawie trzech popularnych serwisów internetowych udostępniających informacje o aktywności użytkownikóww obrębie danego narzędzia testowego.
EN
The presented work includes a comparison of three tools for preparing and conducting automated tests - JUnit5, TestNG and Spock. The study, on the basis of which the comparative analysis was carried out, consisted in performing three types of experiments, i.e. performance tests based on five test scenarios, functional tests checking the capabilities of each tool, and tests of popularity and support in the modern context. The performance experiment consisted in configuring the test environment, preparing tests based on scenarios, performing them multiple times, and then verifying and analysing the obtained time results. The comparison of tools capabilities was based on the preparation of a set of key functionalities of the software used to develop tests. The last analysis consisted in comparing the popularity of the surveyed platforms, and was performed on the basis of three popular websites providing information on user activity within the test tool.
W artykule przedstawiona została analiza porównawcza frameworków wspomagających wytwarzanie testów zautomatyzowanych dla zdefiniowanych scenariuszy testowych. Badanie porównawcze dotyczyło frameworków TestNG oraz WebdriverIO. Omówienie narzędzia zostało przeanalizowane zarówno pod kątem procesu tworzenia testów, jak i szybkości oraz wydajności ich wykonywania. Na potrzeby pracy została wykorzystana strona internetowa github.com. Aplikacja ta posłużyła do przeprowadzania skryptów testowych napisanych w obu frameworkach. Wyniki zostały porównane przez cztery zdefiniowanych kryterium: całkowity czas uruchamiania zbiorów testowych z różną maksymalną liczbą jednocześnie uruchomionych instancji przeglądarki, średni czas uruchamiania wszystkich skryptów testowych w trybie headless, średnia wartość zużycia pamięci oraz CPU podczas wykonania testów. W podsumowaniu zawarta została ocena porównywanych frameworków.
EN
The article presents a comparative analysis of frameworks supporting the development of automated tests for defined test scenarios. The comparative study concerned the TestNG and WebdriverIO frameworks. The overview of the tool has been analyzed both in terms of the test development process as well as the speed and efficiency of their execution. The website github.com was used for the purposes of the work. This application was used to run test scripts written in both frameworks. The results were compared by four defined criteria: the time of running the test scripts with a differ-ent maximum number of simultaneously running browser instances, the average time of running all test scripts in head-less mode, the average value of memory and CPU usage during the test execution. The summary includes the evaluation of the compared frameworks.
This article compares and discusses the programming skeletons for automatic tests. Two test skeletons have been se-lected for testing purposes and then a test environment has been installed and configured, in which appropriate test scenarios have been prepared. Once the test environment has been properly prepared, measurements of the time to launch both frameworks were performed. The results obtained were shown in the form of tables and charts for later analysis. The frameworks were also analyzed in terms of syntax and functionality. At the end, a summary was present-ed, containing more information and conclusions that resulted from the analysis.
PL
W niniejszym artykule zostały porównane i omówione szkielety programistyczne służące do testów automatycznych. Do celów badawczych zostały wybrane dwa szkielety a następnie zostało zainstalowane i skonfigurowane środowisko badawcze, w którym przygotowano odpowiednie scenariusze testowe. Po odpowienim przygotwaniu środowiska ba-dawczego zostały przeprowadzone pomiary czasu uruchomienia obydwu frameworków. Wyniki jakie otrzymano pokazano w postaci tabel i wykresów umożliwiających ich późniejszą analizę. Badane frameworki zostały również przeanlizowane pod kątem składni i funkcjonalności. Na koniec zostało przedstawione podsumowanie zawierające najistotniejsze informację i wnioski jakie wynikły z przeprowadzonej analizy.
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.