Automatic adjustment of the settings of workload manager for adaptive performance management

• Autorzy: Młyński M.

Warianty tytułu

PL

Automatyczna regulacja parametrów podsystemu Workload Manager w celu adaptacyjnej gospodarki wydajnością serwera

• Języki publikacji: EN

Abstrakty

EN

These days, in real live complex computer environments, some applications must be executed more quickly than others. The problem how to execute more important applications quicker and how to change an application efficiency dynamically according to user requirements is difficult. In this article a proposition how to resolve the problem has been presented; a prototype of application for automatic workload manager adjustment and result of experiments has been presented as well.

PL

W artykule przedstawiony został problem zarządzania wydajnością w złożonych systemach komputerowych. Wykorzystany w doświadczeniach system operacyjny nie dostarcza narzędzia, które zarządzałoby wydajnością zdefiniowaną przez użytkownika końcowego, jako czas odpowiedzi aplikacji, bądź też jako ilość danych przetworzonych w z góry określonym czasie. Podsystem Workload Manager w wykorzystanym systemie operacyjnym AIX jest zorientowany na zasoby. Oznacza to, że możemy jedynie wskazać, ile zasobów obliczeniowych przez wskazaną aplikację będzie mogło zostać wykorzystane. Przykładowo może to być: 50% mocy obliczeniowej procesorów, 20% kanałów wejścia/wyjścia lub też 65% zajętości całej pamięci operacyjnej w serwerze. W podsystemie Workload Manager, brakuje natomiast orientacji na cel, czyli możliwości wskazania, jaka ma być docelowa wydajność aplikacji. Celem badań, było zbudowanie prototypu i znalezienia metod dla zarządzania zasobami na poziomie docelowej wydajności, tak, aby można było wprowadzić do systemu informacje o oczekiwanej wydajności aplikacji, a system sam, w celu osiągnięcia zamierzonego celu, dobrałby im odpowiednie wartości oraz dynamicznie je zmieniał w czasie pracy. Doświadczenia pokazują, że nie jest to problem trywialny, gdyż w wielu przypadkach trzeba się opierać na informacji niepełnej oraz polegać na nieprecyzyjnych i niestabilnych wynikach testów. W zaproponowanym kryterium oceny efektywności, oprócz czasu odpowiedzi aplikacji jest także wykorzystanie serwera w jak największym stopniu. Praca może zatem, przynieść wymierne korzyści po wdrożeniu jej idei w środowisku produkcyjnym. Przedstawiony w rozdziale czwartym prototyp rozwiązania (Rys. 10) bazuje na wiedzy zdobytej w procesie uczenia. Proces ten musi być przeprowadzony w całości przed ostatecznym uruchomieniem aplikacji. Moduły prototypu to: punkty pomiaru wydajności, analizator, baza wiedzy oraz executor, który odpowiada za parametryzację klas podsystemu Workload Manager. Zaprezentowany prototyp rozwiązania oraz wyniki badań oparte zostały na: . popularnym w zastosowaniach komercyjnych systemie operacyjnym AIX (Advanced Interactive eXecutive) firmy IBM, . narzędziu Workload Manager – wbudowanym mechanizmie systemu operacyjnego, . bazie danych MySQL wykorzystywanej do przechowywania i obsługi bazy wiedzy, . oprogramowaniu XLC++ oraz systemowych narzędziach programistycznych. Badania przedstawione w artykule dotyczą typowego środowiska, często spotykanego w systemach komputerowych t.j. aplikacji „krytycznej”, której czas odpowiedzi jest bardzo ważny z punktu widzenia działalności firmy, nazywanej w doświadczeniach jako prod24, oraz dwu klas aplikacji „niekrytycznych” prod oraz app. Przykładem obu rodzajów aplikacji mogą być systemy bankowe, gdzie aktualne operacje na koncie są krytyczne, podczas gdy aplikacje analityczne do takich nie należą. Propozycja rozwiązania zaprezentowana w artykule i przetestowana na prototypie polega na tym, aby w jak najkrótszym czasie znaleźć i zmienić dynamicznie parametry systemu tak, aby wskazana aplikacja charakteryzowała się oczekiwanym czasem odpowiedzi. Znaczącym problemem, jaki występuje podczas dynamicznej realokacji zasobów obliczeniowych jest to, że oprócz zasobów przydzielonych bezpośrednio do aplikacji poprzez reguły klasyfikacyjne, w systemie operacyjnym istnieje jeszcze szereg obszarów, którymi zarządzanie jest utrudnione. Są to strony pamięci operacyjnej, które są na stałe powiązane z określonymi adresami i nie mogą być z nich przemieszczone (ang. Pinned memory). Takie strony pamięci są wykorzystywane przez serwery asynchroniczne (ang. Asynchronous I/O servers), oraz przez niektóre struktury wirtualnego zarządcy pamięcią, który odpowiada za buforowanie systemu plików. Do obszarów niedostępnych dla Workload Manager w systemie operacyjnym AIX należą również biblioteki współdzielone programów oraz część procesów systemowych takich jak, procesy zarządzające pamięcią. Zaprezentowane w artykule wyniki badań składają się z trzech części: . wyników przedstawiających sposób działania podsystemu Workload Manager w systemie operacyjnym AIX - rysunek 1 pokazuje ogólną koncepcję tego narzędzia, natomiast rysunki 3 i 4 pokazują wydajność systemu z działającymi współbieżnie trzema klasami zasobów, . wyników przedstawiających działanie podsystemu Workload Manager w warunkach dynamicznych zmian (Rys. 5, 6, 7, 8, 9), . wyników działania zaproponowanego prototypu (Tab. 1). Na rysunkach 5, 6, 7, 8 i 9 przedstawione zostały doświadczenia z parametryzacją Workload Managera typu ad-hoc, dlatego parametry wejściowe zostały tam wstępnie ustalone. Na rysunkach tych pokazane są różnice pomiędzy wstawioną wartością do Workload Managera a rzeczywistą ich wartością z pomiaru. Potwierdza to rysunek 7, gdyż o godz. 23:17 zajętość klasy powinna wynosić około 15% całego serwera, natomiast zmierzona wartość mówiła, że ta klasa aktualnie nie wykorzystuje żadnych zasobów obliczeniowych. Tabela 1 pokazuje wyniki doświadczeń z wykorzystaniem zbudowanego prototypu. Jak widać na zaprezentowanych w tabeli rezultatach, wynikowa wartość wydajności aplikacji jest często różna od wydajności oczekiwanej, ale mieszcząca się w przyjętych granicach błędu. Elementem, który został wskazany przez autora jako wciąż wymagający ulepszenia, jest proces budowania bazy wiedzy. W przyjętym rozwiązaniu baza wiedzy jest tworzona poprzez uruchomienie aplikacji z wszystkimi kombinacjami ustawień podsystemu Workload Manager. Dla rozpatrywanego środowiska, gdzie były zdefiniowane tylko trzy klasy zasobów, proces ten zajął około 5 dni. Podstawowym parametrem, jaki podlegał rozważaniu w każdej z klas, było maksymalna zajętość procesorów. W pracy przedstawiony został również przegląd opublikowanych badań prowadzonych w dziedzinie zarządzania zasobami.

Słowa kluczowe

EN

workload management; autonomic computing; performance; dynamic resources allocation; virtualization

• Wydawca: Instytut Informatyki Teoretycznej i Stosowanej Polskiej Akademii Nauk
• Czasopismo: Theoretical and Applied Informatics
• Rocznik: 2009
• Tom: Vol. 21, No. 1
• Strony: 37--56
• Opis fizyczny: Bibliogr. 22 poz., rys.

Twórcy

autor

Młyński M.

• ACM student member,

Bibliografia

• [1] Bari P., Dillenberger D., Morrill H.: Enterprise Workload Manager Overview. IBM RedBooks, Austin, 2005.
• [2] Bennani M., Menasce D.A.: Resource allocation for autonomic data centers using analytic performance models. In Proc. IEEE Int. Conf. On Autonomic Computing (ICAC), 2005.
• [3] Chaudhuri S., Narasayya V.: Self-tuning database systems: a decade of progress. VLDB’07 Proceedings of the 33rd international conference on Very large data bases, 2007.
• [4] Dias K., Ramacher M., Shaft U., Venkataramani V., Wood G.: Automatic performance diagnosis and tuning in Oracle. In Proc. Conf. On Innovative Data Systems Research (CIDR), 2005.
• [5] Khanna G., Beaty K., Kar G., Kochut A.: Application performance management In virtualized Server environments. In Proc. IEEE/IFIP Network Operations and Management Symp. (NOMS), 2006.
• [6] Krompass S., Kuno H., Dayal U., Kemper A.: Dynamic workload management for very large data warehouses: juggling feathers and bowling balls. Proceedings of the 33rd international conference on Very large data bases (VLDB), 2007.
• [7] Mlynski M.: Dynamic resources allocation in AIX 5L. XII Conference of Real Time Systems. WKL, pp. 247-256, 2005.
• [8] Mlynski M.: Analysis of using an AIX dynamic resource allocation mechanism to describe a utility level of server in Oracle data bases environment. ZN Pol. Sl. s. Informatica Vol. 26 No 3 (64), 2005.
• [9] Mlynski M., P. Rumik.: Examination of usefulness of workload manager in AIX 5L to improve efficiency of application in MySQL data base. II Conference of Database, Applications and Systems. WKL, 2006.
• [10] Mlynski M.: Analysis of usefulness of virtualization engine for improve the system efficiency. ZN Pol. Sl. s. Informatica Vol. 27 No 3 (68), 2006.
• [11] Oracle Database Resource Manager. http://www.oracle.com/technology/deploy/availability/htdocs/rm_overview.html.
• [12] Steinder M., Whalley I., Chess D.: Server virtualization in autonomic management of heterogeneous workloads. ACM SIGOPS Operating Systems Review, 2008.
• [13] Soror A. A., Minhas F. U., Aboulnaga A., Salem K., Kokosielis P., Kamath S.: Automatic Virtual Machine Configuration for Database Workloads. SIGMOD’08 Proceedings of the 2008 ACM SIGMOD international conference on Management of data, 2008.
• [14] Partition Load Manager: http://www.ibm.com/developerworks/aix/library/aupartitionloadmanager.
• [15] Ruth P., Rhee J., Xu D., Kennel R., Goasguen S.: Autonomic live adaptation of virtual computational environments in a multi-domain infrastructure. In Proc. IEEE Int. Conf. On Autonomic Computing (ICAC), 2006.
• [16] Tesauro G., Das R., Walsh W. E., Kephart J. O.: Utility-function-driven resource allocation in autonomic systems. In IEEE Int. Conf. On Autonomic Computing, 2005.
• [17] Tivoli Provisioning: http://www-306.ibm.com/software/tivoli/products/prov-mgr.
• [18] Wang X., Lan D., Wang G., Fang X., Ye M., Chen Y., Wang Q.: Application-based autonomic provisioning framework for virtualized outsourcing data center. In Proc. IEEE Int. Conf. On Autonomic Computing (ICAC), 2007
• [19] Vatter S., Cardero M. J. E., Dutta S. Rosca L. Silva G. P., Stroobants K.: IBM Certification Study Guide eServer p5 and pSeries Administration and Support for AIX 5L Version 5.3. IBM RedBooks, 2007.
• [20] Vasupongayya S., Chiang S.: Design and Potential Performance of Goal-Oriented Job Scheduling Policies for Parallel Computer Workloads. IEEE Transactions on Parallel and distributed systems VOL. 19, NO. 12, 2008.
• [21] Aman J., Eilert C. K., Emmes D., Yocon P., Dillenberger D.: Adaptive algorithms for managing a distributed data processing workload. IBM Systems Journal Volume 36, Nuber 2, Page 242, 1997.
• [22] Zhou S., Zheng J., Wang X., and Delisle P.: Utopia: a load sharing facility for large, heterogeneous distributed computer systems. Software: Practice and Experience, vol. 23, no. 12, pp. 1305–1336, 1993.