Wyniki wyszukiwania - BazTech

1

Learning From User-Specified Optimizer Hints in Database Systems

Zakrzewicz Maciej

Foundations of Computing and Decision Sciences

|

2024

|

Vol. 49, No. 2

181--197

EN

Recently, numerous machine learning (ML) techniques have been applied to address database performance management problems, including cardinality estimation, cost modeling, optimal join order prediction, hint generation, etc. In this paper, we focus on query optimizer hints employed by users in their queries in order to mask some Query Optimizer deficiencies. We treat the query optimizer hints, bound to previous queries, as significant additional query metadata and learn to automatically predict which new queries will pose similar performance challenges and should therefore also be supported by query optimizer hints. To validate our approach, we have performed a number of experiments using real-life SQL workloads and we achieved promising results.

2

An efficient approach for view selection for data warehouse using tree mining and evolutionary computation

Thakare A., Deshpande P.

Computer Science

|

2018

|

Vol. 19 (4)

431--455

EN

The selection of a proper set of views to materialize plays an important role in database performance. There are many methods of view selection that use different techniques and frameworks to select an efficient set of views for materialization. In this paper, we present a new efficient scalable method for view selection under the given storage constraints using a tree mining approach and evolutionary optimization. The tree mining algorithm is designed to determine the exact frequency of (sub)queries in the historical SQL dataset. The Query Cost model achieves the objective of maximizing the performance benefits from the final view set that is derived from the frequent view set given by the tree mining algorithm. The performance benefit of a query is defined as a function of query frequency, query creation cost, and query maintenance cost. The experimental results show that the proposed method is successful in recommending a solution that is fairly close to an optimal solution.

3

Adapting sba optimization methods devoted to queries having subqueries typed by enumerations for xquery expressions

Bleja M.

Information Systems in Management

|

2015

|

Vol. 4, No. 1

3--13

EN

The paper presents the concepts related to the design of query optimization methods for nested queries. The proposed methods are dedicated for queries having so called weakly dependent subqueries. A subquery is weakly dependent from its direct operator if it depends only on expressions typed by enumerations. We have successfully developed the weakly dependent subqueries method in the context of object-oriented database management systems based on Stack-Based Approach. Systems storing XML data which are queried using XQuery can be considered simplified object-oriented databases. For this reason we try to adopt SBQL query optimization methods to XQuery expressions.

4

Szacowanie selektywności zapytań oparte na transformacie Hougha i metodzie PCA

Augustyn D., Kostrzewa D.

Studia Informatica

|

2012

|

Vol. 33, nr 2A

211-227

PL

Oszacowanie selektywności zapytania jest istotnym elementem procesu uzyskiwania optymalnego planu wykonania tego zapytania. Wyznaczenie selektywności wymaga użycia nieparametrycznego estymatora rozkładu wartości atrybutu, na ogół histogramu. Wykorzystanie wielowymiarowego histogramu jako reprezentacji łącznego rozkładu wielowymiarowego jest nieekonomiczne z powodu zajętości pamięciowej takiej reprezentacji. W artykule zaproponowano nową metodę, nazwaną HPCA, oszczędną pod względem zajętości, gdzie rozkład dwuwymiarowy w przybliżeniu może być reprezentowany w postaci zbioru histogramów jednowymiarowych. Metoda HPCA opiera się na transformacji Hougha i metodzie analizy składowych głównych. Dzięki HPCA można uzyskiwać dokładniejsze oszacowania selektywności zapytań niż te, otrzymane przy wykorzystaniu standardowych 2-wymiarowych histogramów.

EN

Query selectivity estimation is an important element of obtaining optimal query execution plan. Selectivity estimation requires a nonparametric estimator of attribute values distribution – commonly a histogram. Using a multidimensional histogram as a representation of a joint multidimensional distribution of attributes values is not space-efficient. The paper introduces a new space-efficient method called HPCA, where a 2-dimesional distribution may be represented by a set of 1-dimensional histograms. HPCA is based on Hough transform and principal component analysis method. Using HPCA commonly gives more accurate selectivity estimation than standard methods based on a 2-dimensional histogram.

5

Regułowa optymalizacja zapytań w bazach danych przestrzennych

Lupa M., Piórkowski A.

Studia Informatica

|

2012

|

Vol. 33, nr 2B

105-115

PL

Niniejszy artykuł porusza temat optymalizacji zapytań w bazach danych przestrzennych. Autorzy, jako główny nurt rozważań, przyjęli optymalizację regułową, która pozwala przyśpieszyć wykonywanie zapytań na etapie ich tworzenia. Efektem badań są spostrzeżenia w postaci proponowanych reguł optymalizacji, których efektywność została sprawdzona eksperymentalnie. Zaproponowano trzy metody dekompozycji zapytań do postaci mniej czasochłonnych obliczeniowo. Pierwszą z nich jest zastąpienie funkcji przestrzennych w warunkach wyszukiwania operatorami logicznymi. W drugim przypadku do dekompozycji wykorzystano własność łączności w kontekście funkcji sumy. Trzecie rozpoznanie dotyczy własności łączności w aspekcie funkcji części wspólnej.

EN

This article addresses how to optimize queries in spatial databases. Authors as mainstream considerations adopted to optimize adjustable speed performance which allows queries on the stage of their development. The result of the study are the observations in the form of proposed rules of optimization, where the effectiveness is verified experimentally. Proposed three methods for decomposition of queries into a less time-consuming computationally. The first is to replace spatial functions in a Boolean search. In the second case, the decomposition property of communication used in the context of the function sum. The third property concerns the identification of communication in terms of joint function.

6

The optimization of SQL queries by means of drawing up query diagrams

Witan K.

Biuletyn Instytutu Systemów Informatycznych

|

2011

|

nr 7

61-68

EN

A poorly performing database application not only costs users time, but also has an impact on other applications running on the same computer or the same network. The best method to manage with this problem is performing SQL tuning. There are two basic issues to focus on during tuning: how to find and interpret the execution plan of an SQL statement and how to change a SQL query to get a specific alternate execution plan. But most important is how to find the optimal execution plan for the query to use. This article describes a timesaving method developed for finding the optimum execution plan - rapidly and systematically - regardless of the complexity of the SQL query or the database platform being used. It explains how to understand and control SQL execution plan and how to diagram SQL queries to deduce the best execution plan for a query.

PL

Niewłaściwie skonstruowane aplikacje bazodanowe nie tylko wymagają poświęcenia nadmiernej ilości czasu na ich obsługę, lecz mają także wpływ na inne aplikacje funkcjonujące na tym samym komputerze, lub w tej samej sieci. Najlepszą metodą pozwalającą na rozwiązanie powyższego problemu, jest przeprowadzenie optymalizacji zapytań. Istnieją dwie podstawowe kwestie na których należy się skoncentrować w trakcie optymalizacji: jak znaleźć i zinterpretować plan wykonania dla zapytania SQL, oraz jak zmodyfikować zapytanie SQL, aby uzyskać określony alternatywny plan wykonania. Jednak najistotniejsze jest jak znaleźć optymalny plan wykonania dla konkretnego zapytania. Bieżący artykuł opisuje metodę, charakteryzującą się niską czasochłonnością, opracowaną w celu wyznaczenia optymalnego planu wykonania - szybko i systematycznie - niezależnie od poziomu złożoności zapytania SQL, lub rodzaju użytej platformy bazodanowej. Wyjaśnia on jak zrozumieć i kontrolować plan wykonania SQL, a także jak opracować diagram zapytania, umożliwiający wybór najlepszego planu wykonania dla zapytania.

7

Elementy optymalizacji zapytań SQL

Ptasznik A.

Zeszyty Naukowe Warszawskiej Wyższej Szkoły Informatyki

|

2010

|

nr 4

147--157

PL

Współczesne bazy danych mogą przechowywać gigantyczne ilości danych i korzystać z nich mogą jednocześnie tysiące użytkowników. W bazach danych obsługujących działania operacyjne firmy krytyczne znaczenie ma szybkość realizowania zapytań. Problemy optymalizacji zapytań są złożone i wymagają od administratorów i programistów dużej wiedzy i doświadczenia. Wykład zapoznaje słuchaczy z problematyką wydajności i optymalizacji zapytań SQL. Omówiona zostanie fizyczna organizacja przechowywania danych i wprowadzone zostaną pojęcia indeksów zgrupowanych i niezgrupowanych. Zaprezentowane zostaną przykłady planów wykonania zapytań generowane przez optymalizator SQL. Na bazie przykładu omówione zostaną problemy wyboru strategii wykonania zapytania w zależności od zawartości tabel i zdefiniowanych indeksów. Wprowadzone zostanie pojecie statystyk indeksów i omówione będzie ich znaczenie przy wyborze strategii realizacji zapytania.

EN

Present-day databases can store vast amounts of data and can be used simultaneously by thousands of users. Query executing speed is of crucial significance in databases for operational activities of a company. The issue of query optimisation is complex and it requires immense knowledge and experience from administrators and programmers. The lecture acquaints the audience with a range of issues connected with SQL query performance and optimisation. The physical organisation of data storage will be discussed and the concepts of clustered and non-clustered indexes will be introduced. The examples of query execution plans generated by SQL optimiser will be presented. On the basis of an example, issues of the choice of query execution strategy depending on the content of tables and defined indexes will be discussed. The concept of index statistics will be introduced and their significance for the choice of query execution strategy will be discussed.

8

Metody przeszukiwania przestrzeni planów realizacji zapytań za pomocą algorytmu IWO

Kostrzewa D., Josiński H.

Studia Informatica

|

2010

|

Vol. 31, nr 2A

393-403

PL

Prezentowane zagadnienie stanowi kontynuację badań poświęconych zastosowaniu algorytmu IWO do realizacji zadania istotnego dla dziedziny rozproszonych baz danych – określenia planu przebiegu procesu scalania danych rozproszonych. W niniejszym opracowaniu zaproponowano modyfikację ważnej części algorytmu IWO, jaką jest metoda penetracji przestrzeni poszukiwań.

EN

The considered issue is a continuation of research concerning the application of the IWO algorithm for realization of the important task from the domain of distributed databases – predetermination of the progress of distributed data merging process. The paper includes modification proposal of method for exploration of the search space that forms a crucial part of the IWO algorithm.

9

Query Optimization in Teradata Warehouse

Gosk A.

Journal of Telecommunications and Information Technology

|

2010

|

nr 3

57-64

EN

The time necessary for data processing is becoming shorter and shorter nowadays. This thesis presents a definition of the active data warehousing (ADW) paradigm. One of the data warehouses which is consistent with this paradigm is teradata warehouse. Therefore, the basic elements of the teradata architecture are described, such as processors parsing engine (PE) and access module processor (AMP). Emphasis was put on the analysis of query optimization methods. There is presented the impact of a primary index on the time of query execution. Furthermore, this paper shows different methods of optimization of data selection, data joins and data aggregation. All these methods can help to minimize the time for data processing. This paper presents experiments which show the usage of different methods of query optimization. At the end some conclusions about different index usage are included.

10

Zastosowanie algorytmu IWO do planowania procesu scalania danych rozproszonych

Kostrzewa D., Josiński H.

Studia Informatica

|

2009

|

Vol. 30, nr 2A

79-92

PL

Prezentowane zagadnienie stanowi kontynuację badań poświęconych zastosowaniu algorytmu ewolucyjnego do realizacji zadania istotnego dla dziedziny rozproszonych baz danych - określenia planu przebiegu procesu scalania danych rozproszonych. Wskazano zarówno na cechy wspólne, jak i różnice między algorytmami IWO i ewolucyjnym, zamieszczono rezultaty eksperymentów porównawczych.

EN

The considered issue is a continuation of research concerning the application of the evolutionary algorithm for realization of the important task from the domain of distributed databases - predetermination of the progress of distributed data merging process. Many common features of the IWO method and the evolutionary algorithm as well as the differences between them were mentioned in the paper along with results of comparative experiments.

11

Metody optymalizacji przez indeksowanie dla obiektowego języka zapytań

Kowalski T. M., Cebula P., Kuliberda K., Wiślicki J., Adamus R.

Automatyka / Akademia Górniczo-Hutnicza im. Stanisława Staszica w Krakowie

|

2009

|

T. 13, z. 3/2

1529-1543

PL

W artykule zostały opisany ogólne zasady optymalizacji zapytań przez indeksowanie dla obiektowego języka zapytań SBQL (Stack-Based Query Language). Opracowane metody zostały zaimplementowane i przetestowane w prototypie systemu ODRA. Implementacja indeksowania na potrzeby systemu ODRA opiera się na liniowym haszowaniu i działa lokalnie w zakresie samodzielnej bazy danych. Składa się ona z przezroczystej optymalizacji zapytań, automatycznej aktualizacji indeksów oraz modułu zarządzającego. Na kilku przykładach zostały omówione kwestie semantycznej równoważności zaproponowanych metod optymalizacji w kontekście obiektowego modelu danych i języka zapytań.

EN

In paper we present an overview of query optimization by indexing for SBQL (Stack-Based Query Language). Developed methods have been implemented and tested in ODRA prototype system. The ODRA index implementation is based on linear hashing and works in a scope of a standalone database. It consists of transparent optimization, automatic index updating and management facilities. The semantic equivalence of proposed query optimization methods in the context of object data model and query language is discussed on several examples.

12

Database query optimization with soft constraints

Gryz J.

Prace Naukowe Politechniki Warszawskiej. Elektronika

|

2008

|

z. 163

1-111

EN

Relational database systems became the predominant technology for storing, handling, and quering data only after great improvement in the efficiency of query evaluation in such systems. The key factor in this improvement was the introduction and development of a number of query optimization techniques. Query optimizers draw upon many sources of information about the database to optimize queries. Among these sources, they employ integrity constraints in the query rewrite process. These rewrites have been seen to offer tremendous cost improvements for certain types of queries in standard, common workloads and databases. A disadvantage of these techniques though is that the semantic characterizations they require are not always available as integrity constraints associated with the database. Our key objective in this work is to discover regularities in stored data using data mining techniques, and then to extract and use them for the purpose of query optimization. We call such regularities soft constraints. Soft constraints are not meant to protect the integrity of the database as do integrity constraints; but like integrity constraints, they do semantically characterize the database. As certain types of integrity constraints are now used in query optimization, soft constraints can be used in the optimizer in the same way. If there are any usefull characterizations of the database valid with respect to the current state of the database and useful for the optimizer with respect to the workload, but which are not truly integrity constraints (that is, the database designer has no reason to specify these as rules), then these could be expressed as soft constraints.

PL

Relacyjne bazy danych stały się dominująca technologią służącą przechowywaniu i przetwarzaniu danych dopiero wówczas, gdy znacząco usprawniono wykonywanie zapytań w takich systemach. Głównym czynnikiem postępu w tej dziedzinie było wprowadzenie i usprawnienie dużej liczby technik służących optymalizacji zapytań. Jedną z takich technik jest semantyczna optymalizacja zapytań. Polega ona na wykorzystaniu informacji semantycznej dostępnej w postaci ograniczeń integralnościowych. Główną przeszkodą, w drodze do pełnego wykorzystania możliwości zawartych w ograniczeniach w procesie optymalizacji jest problem braku ich specyfikacji w rzeczywistych bazach danych. W niniejszej pracy proponujemy zastosowanie w procesie optymalizacji nowego typu ograniczeń integralnościowych, tak zwanych miękkich ograniczeń integralnościowych. Ograniczeniami miękkimi nazywamy ograniczenia wykryte w rzeczywistych bazach danych przy użyciu technik eksploracji danych. Miękkie ograniczenia integralnościowe podobne są w swej formie do tradycyjnych ograniczeń integralnościowych, ale pełnią inną rolę. Nie specyfikują one formalnie legalnych stanów bazy danych i mogą zostać unieważnione przez kolejne operacje aktualizacji bazy danych. Główną ideą tej pracy jest teza, że tak zdefiniowane miękkie ograniczenia integralnościowe mogą być z powodzeniem wykorzystywane w procesie optymalizacji pytań.

13

Cached Queries in the Stack-Based Approach

Cybula P., Subieta K.

Prace Instytutu Podstaw Informatyki Polskiej Akademii Nauk

|

2005

|

Nr 985

1-56

EN

We present a new approach to optimization of ąuery languages using materialization of resułts previously answered ąueries. It is based on the stack-based approach (SBA) to object-oriented ąuery languages, which assumes the description of semantics in the form of abstract implementation of ąuery/programming language constructs. The semantics is expressed in terms of naming, scoping and binding. It involves an environmental stack - a basie mechanism of majority of programming languages. Novelty of our approach concerns methods and data structures proposed to realize the optimization method. The main properties of the structures as well as its essential problems arę outlined, particularly the problem of updating cached ąueries after changes of database content. In the report we present detailed description of our approach including all necessary information on the syntax, semantics, implementation and pragmatics of corresponding language constructs.

PL

Przedstawiamy nowe rozwiązanie optymalizacji języków zapytań z wykorzystaniem materializacji wyników wcześniej zrealizowanych zapytań. Rozwiązanie to bazuje na podejściu stosowym (SBA) do obiektowych języków zapytań wprowadzającym opis semantyki w formie abstrakcyjnej implementacji konstrukcji języka zapytań lub programowania. Semantyka ta jest wyrażana za pomocą trzech terminów: nazw, zakresu i wiązania. Wykorzystywany jest stos środowiskowy - podstawowy mechanizm większości języków programowania. Oryginalność naszego rozwiązania dotyczy metod i struktur danych proponowanych do realizacji wspomnianej metody optymalizacyjnej. Zostały opisane główne własności tych struktur danych, jak również istotne problemy, w szczególności problem aktualizacji zapamiętanych zapytań po zmianach zawartości bazy danych. W raporcie przedstawiamy szczegółowy opis naszego rozwiązania, w tym wszystkie niezbędne informacje dotyczące składni, semantyki, implementacji i pragmatyki odpowiednich konstrukcji językowych.

14

Optimization of object-oriented queries by factoring out independent subqueries

Płodzień J., Subieta K.

Prace Instytutu Podstaw Informatyki Polskiej Akademii Nauk

|

1999

|

nr 889

1-16

EN

We generalize query optimization methods based on rewriting for a general object-oriented model and a formalized OQL-like query language. Our approach makes it possible to detect and factor out independent subqueries in queries bulit upon traditional or new query operators, including dependent joins of OQL, quantifiers, generalized path expressions and method invocations. In contrast to well-known methods relying on specific patterns of algebraic or calculus expressions, our methodis based on a formal analysis of scoping and binding rules for names occuring in a query and its subqueries. It neither depends on the complexity of an independent subquery nor on the operator connecting this subquery to its parent query. Being very general, the method is simple to understand and analyze. We follow the stack-based approach to object-oriented query languages (having roots in the semantics of programming languages), rather than object algebras or calculi.

PL

W pracy przedstawiamy uogólnienie metod optymalizacji zapytań opartych na przepisywaniu dla ogólnego modelu obiektowego i sformalizowanego języka zapytań w duchu OQL. Nasze podejście umożliwia wykrywanie i "wyciąganie przed nawias" niezależnych podzapytań wystepujących w zapytaniach konstruowanych przy pomocy tradycyjnych i nowych operatorów, m. in. zależnych złączeń z języka OQL, kwantyfikatorów, uogólnionych wyrażeń ścieżkowych i wywołań metod. W przeciwieństwie do dobrze znanych metod operujących na specyficznych wzorach wyrażeń algebraicznych lub wyrażeń pewnego rachunku, nasza metoda jest oparta na formalnej analizie zakresów i reguł wiązania dla nazw wystepujących w danym zapytaniu i jego podzapytaniach. Nie zależy ona ani od stopnia złożoności niezależnego podzapytania, ani od rodzaju operatora lączącego go z pytaniem nadrzędnym. Metoda ta jest jednocześnie ogólna oraz łatwa do zrozumienia i wykorzystania do analizy zapytań. W naszej metodzie używamy podejścia stosowego do obiektowych zapytań (które ma korzenie w semantyce języków programowania) zamiast obiektowych algebr i rachunków.

15

Kompilacja i optymalizacja obiektowych zapytań

Płodzień J., Subieta K.

Prace Instytutu Podstaw Informatyki Polskiej Akademii Nauk

|

1998

|

nr 869

3-48

PL

W pracy przedstawiamy wstępną propozycję sposobu kompilacji i optymalizacji zapytań w obiektowych bazach danych. Z istniejących podejść obiektowych wybraliśmy podejście stosowe zaimplementowane w systemie LOQIS. Jako ogólną metodę optymalizacji zapytań proponujemy wykorzystanie reguł przepisywania. Za ich pomocą przekształcamy tekstową postać zapytania do takiej semantycznie równoważnej postaci, której czas ewaluacji jest krótszy. Na koniec krótko dyskutujemy możliwość użycia do optymalizacji zapytań indeksów, przy pomocy zbioru specjalnych funkcji.

EN

We address the problem of query compilation and optimization in object-oriented data bases. From the existing object-oriented approaches we have chosen the stack-based approach implemented in the LOQIS system. As a general method of query optimization we use rewriting rules. They transform the textual form of a query into such a semantically equivalent form, for which the time of evaluation is shorter. Finally we briefly discuss the possibility of using indexes for query optimization, which can be accomplished by involving a set of special functions.