Model-based testing promotes the specifications ofabstract system behaviours and their transformations into test scenarios to enhance the quality of software testing. In this paper, we propose a modeling toolset called ModelWeb for the model-based testing of web applications. ModelWeb provides a modeling editor that offers a flowchart-based notation set for the modeling of users' functional behaviours on the web applications. ModelWeb's flowchart notation set consists of a pre-defined list of user actions (e.g., click, type, login, register, select etc.) and system actions (display and return). ModelWeb can further transform the flowchart-based model for a web functionality (e.g., adding products to cart in an online store) into the test scenarios that are documented in accordance with the behaviour driven development (BDD) approach for understandability and the acceptance by the web test automation tools. So finally, ModelWeb can automatically test the web applications against the transformed BDD scenarios using the Selenium web test automation tool and report the test results to the user. To evaluate ModelWeb, we asked four practitioners from diverse industries to test three different web-applications with and without ModelWeb. We observed that ModelWeb enables considerable gains on the time performance (27-41\%) and the number BDD scenarios obtained (51-113\%).
W artykule przedstawiona została analiza porównawcza frameworków wspomagających wytwarzanie testów zautomatyzowanych dla zdefiniowanych scenariuszy testowych. Badanie porównawcze dotyczyło frameworków TestNG oraz WebdriverIO. Omówienie narzędzia zostało przeanalizowane zarówno pod kątem procesu tworzenia testów, jak i szybkości oraz wydajności ich wykonywania. Na potrzeby pracy została wykorzystana strona internetowa github.com. Aplikacja ta posłużyła do przeprowadzania skryptów testowych napisanych w obu frameworkach. Wyniki zostały porównane przez cztery zdefiniowanych kryterium: całkowity czas uruchamiania zbiorów testowych z różną maksymalną liczbą jednocześnie uruchomionych instancji przeglądarki, średni czas uruchamiania wszystkich skryptów testowych w trybie headless, średnia wartość zużycia pamięci oraz CPU podczas wykonania testów. W podsumowaniu zawarta została ocena porównywanych frameworków.
EN
The article presents a comparative analysis of frameworks supporting the development of automated tests for defined test scenarios. The comparative study concerned the TestNG and WebdriverIO frameworks. The overview of the tool has been analyzed both in terms of the test development process as well as the speed and efficiency of their execution. The website github.com was used for the purposes of the work. This application was used to run test scripts written in both frameworks. The results were compared by four defined criteria: the time of running the test scripts with a differ-ent maximum number of simultaneously running browser instances, the average time of running all test scripts in head-less mode, the average value of memory and CPU usage during the test execution. The summary includes the evaluation of the compared frameworks.
The article presents a comparative analysis of tools supporting the production of automated tests for specific test scenarios. Within the framework of the research, the described tools were installed and then their functionalities were described. Using each of the tools, author's automatic tests were written and performed. The tool discussion was examined both in terms of the process of creating the tests and the speed of their execution. In addition, the selected tools were evaluated and subjective evaluations of the comfort of using the tool were taken into account, taking into account aspects such as the ease of installation and configuration of the tool, the need for programming skills, the simplicity of creating tests, additional functionalities and access to documentation. The summary includes the evaluation of the compared applications, and also discusses specific cases for which the tool will work better.
PL
W artykule przedstawiona została analiza porównawcza narzędzi wspomagających wytwarzanie zautomatyzowanych testów dla sprecyzowanych scenariuszy testowych. W ramach badań oprogramowanie zostało zainstalowane, a następnie opisano jego funkcjonalności. Przy pomocy każdego z narzędzi zostały napisane i wykonane autorskie testy automatyczne. Omawianie programy zbadano zarówno pod kątem procesu tworzenia testów, jak i prędkości ich wykonywania. Dodatkowo zostały ocenione pod względem subiektywnej oceny komfortu używania danego narzędzia, biorąc pod uwagę aspekty takie, jak łatwość instalacji i konfiguracji, potrzeba znajomości programowania, prostota tworzenia testów, dodatkowe funkcjonalności oraz dostęp do dokumentacji. W podsumowaniu zawarta została ocena porównywanych aplikacji, a także omówione zostały konkretne przypadki, dla których dane oprogramowanie sprawdzi się lepiej.
Testy automatyczne mają na celu weryfikowanie funkcjonalności systemu na poziomie interfejsu użytkownika końcowego. W artykule porównane zostały narzędzia Selenium WebDriver oraz Protractor. Do przeprowadzenia analizy porównawczej narzędzi ustalono pięć kryteriów porównawczych na podstawie, których przeprowadzony został proces analitycznej hierarchizacji. Na podstawie otrzymanych obliczeń zostały wyciągnięte wnioski dotyczące tego, która platforma jest lepszym wyborem pod względem testowania aplikacji Single Page Application.
EN
Automated tests are designed to verify the functionality of the system at the level of the end-user interface. The article compared popular tools Selenium WebDriver and Protractor. To conduct a comparative analysis tools have been established five benchmarks under which it was carried out the analytical hierarchy proces. Based on the obtained calculations, conclusions have been drawn regarding which platform is a better choice in terms of testing the application of the Single Page Application.
Testy automatyczne stosowane są do weryfikowania funkcjonalności tworzonego oprogramowania. W artykule porównana została szybkość wykonywania automatycznych testów napisanych w popularnych technologiach: HP UFT i WebDriver Selenium. Dla każdej z nich powstały po 3 testy, wykonujące te same czynności. Na podstawie otrzymanych wyników zostały wyciągnięte wnioski dotyczące tego, która technologia jest lepszym wyborem, gdy liczy się wydajność wykonywanych testów.
EN
Automation tests are used for verification of functionality of developing applications. The performance of automation tests written in HP UFT and Selenium WebDriver was compared. There were created 3 tests for both technologies that were executing the same tasks. According to the obtained results, it was concluded which technology is a better choice if the time efficiency of tests execution is important.
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.