Wyniki wyszukiwania - BazTech

1

Efficient storage, retrieval and analysis of poker hands: An adaptive data framework

Gorawski M., Lorek M.

International Journal of Applied Mathematics and Computer Science

|

2017

|

Vol. 27, no. 4

713--726

EN

In online gambling, poker hands are one of the most popular and fundamental units of the game state and can be considered objects comprising all the events that pertain to the single hand played. In a situation where tens of millions of poker hands are produced daily and need to be stored and analysed quickly, the use of relational databases no longer provides high scalability and performance stability. The purpose of this paper is to present an efficient way of storing and retrieving poker hands in a big data environment. We propose a new, read-optimised storage model that offers significant data access improvements over traditional database systems as well as the existing Hadoop file formats such as ORC, RCFile or SequenceFile. Through index-oriented partition elimination, our file format allows reducing the number of file splits that needs to be accessed, and improves query response time up to three orders of magnitude in comparison with other approaches. In addition, our file format supports a range of new indexing structures to facilitate fast row retrieval at a split level. Both index types operate independently of the Hive execution context and allow other big data computational frameworks such as MapReduce or Spark to benefit from the optimized data access path to the hand information. Moreover, we present a detailed analysis of our storage model and its supporting index structures, and how they are organised in the overall data framework. We also describe in detail how predicate based expression trees are used to build effective file-level execution plans. Our experimental tests conducted on a production cluster, holding nearly 40 billion hands which span over 4000 partitions, show that multi-way partition pruning outperforms other existing file formats, resulting in faster query execution times and better cluster utilisation.

2

Improving data access security by server-side functional extensions

Miłosz M., Draganek D.

Advances in Science and Technology. Research Journal

|

2016

|

Vol. 10, nr 30

69--75

EN

All Database Management Systems used in the industry provide secure access to data at the server level. The level of security is influenced by technology, security model, password encryption method, password strength and others. The human factor – unreasonable behaviour of users – also has a significant impact on safety. Developers of database applications often implement their security policy by limiting the risk caused by users. This implementation has a disadvantage – it does not work outside of the application. A large number and variety of applications that work with the database server may then create a security gap. The paper presents the authors’ extensions of the functional features implemented in the Oracle database server, increasing the security of data access. The implemented methods of controlling the time of user access to data and limiting the use of serial and modular passwords are also discussed.

3

System kolekcjonujący dane pogodowe na bazie meteorogramów

Ksieniewicz P.

Mechanik

|

2015

|

R. 88, nr 10CD

35--43

PL

Artykuł skupia się na problemie pozyskiwania i kolekcjonowania danych meteorologiczny dotyczących obszaru Morza Bałtyckiego, które są niezbędnym elementem do zaprojektowania oraz zaimplementowania efektywnego systemu ostrzegania o ryzyku wystąpienia szturmu w akwenie tego morza. Porusza on również niezwykle istotny problem, który utrudnia lub wręcz uniemożliwia podjęcie prac w tym zakresie. Problem ten dotyczy ograniczonego przez instytucje państwowe dostępu do przydatnych w badaniach naukowych danych meteorologicznych, które są traktowane głównie jako produkt komercyjny. Niniejszy artykuł skupia się studium przypadku dotyczącym obszaru Morza Bałtyckiego. Celem omawianych prac była konstrukcja niezależnej od Instytutu Meteorologii i Gospodarki Wodnej bazy danych meteorologicznych wyżej wymienionego akwenu z okresu najwyższej częstotliwości występowania sztormów. W tym celu posłużono się meteorogramami uzyskanymi z Numerycznej Prognozy Pogody Uniwersytetu Warszawskiego, oprogramowaniem dekodującym dane numeryczne z nieskompresowanych bitmap oraz bazą danych, która pozwala na ich akumulację i udostępnienie. Wykorzystanie wcześniej wspomnianej metody pozwoliło na skonstruowanie, złożonej z 600600 obiektów bazy danych z okresu czterech miesięcy, na dostatecznie dokładnej siatce punktów pomiarowych rozpiętej na akwenie morza, przedstawiając tym samym propozycję alternatywnego rozwiązania nakreślonego na początku problemu.

EN

The paper concentrates on the problem of limited by the state institutions access to meteorological data, relevant to scientific research, that are regarded only as commercial product. The search for the new source of access was based on the case study of the Baltic Sea area. The aim of the project was to create a meteorological database, independent of the Institute of Meteorology and Water Management, concerning the Baltic Sea in the period with the highest frequency of storms. For this purpose, meteograms from the Numerical Weather Forecast from the Warsaw University, the software decoding numerical data from uncompressed bitmap and the database allowing accumulation of data and making them available were used. The application of mentioned method allowed us to construct database consisted of 600600 items, from four months, on precise grid of measuring points stretched on the Baltic Sea basin; thereby presenting an alternative solution of the problem.

4

Security mechanisms for data access in aspects of tools available in .net framework

Michalska A., Poniszewska-Maranda A.

Information Systems in Management

|

2014

|

Vol. 3, No. 3

170--181

EN

Software solutions are nowadays commonly used in business. More and more transactions are conducted on-line as well as more and more critical information is being kept on local or remote servers in huge databases. The purpose of presented paper is to analyze and propose the solutions used for the security of sensitive personal data and access to such data provided by the platform chosen for research with respect to the real-life needs of the developers and end-users. The main focus are put on the solutions provided by the .NET platform which next to Java is one of the most commonly used programming environments for both web page and desktop applications.

5

Koncepcja zintegrowanego systemu akwizycji danych o obiektach na terenie uniwersytetu technologiczno-przyrodniczego

Drechny M., Bieliński K. S.

Rynek Energii

|

2010

|

nr 4

98-102

PL

W artykule przedstawiono koncepcję budowy zintegrowanego systemu akwizycji danych o obiektach realizowaną w Zakładzie Elektroenergetyki Uniwersytetu Technologiczno-Przyrodniczego w Bydgoszczy. Podstawowym celem systemu jest akwizycja danych o zużyciu energii elektrycznej, wody, ciepła, gazu oraz gromadzenie innych informacji o badanych obiektach np. związanych z pogodą (temperatura, ciśnienie, nasłonecznienie, siła wiatru), a także o stanie pracy urządzeń (np. włączony, wyłączony, czas pracy, stopień wykorzystania). Wszystkie zgromadzone informacje umieszczane są w jednej bazie. Dane zgromadzone w ten sposób pozwolą na określenie profilu i wartości zużycia mediów energetycznych przez poszczególne obiekty (np. budynki, laboratoria), umożliwią precyzyjniejsze planowanie zapotrzebowania na media, a także dostarczą wielu dodatkowych informacji np. korelacji między zużyciem mediów a temperaturą otoczenia i temperaturą w obiektach. Drugim nie mniej ważnym celem jest udostępnienie wybranych informacji zgromadzonych w bazie danych na serwerze do prowadzenia zajęć dydaktycznych w oparciu o rzeczywiste dane pomiarowe.

EN

In this work the conception of building integrated data acquisition system about technical facilities that is realized in Division of Electrical Power Engineering of University of Technology and Life Sciences was described. The main purpose of this system is data acquisition about consumption of electric energy, water, heat, gas and also the acquisition of other information about monitoring objects for example connected with weather (temperature, atmospheric pressure, isolation, the wind power) or device operating conditions (for example switching on/off, the time of work, the degree of use). All gathered information is located in one common database. The data stored in this way allow to define the profile and value of energetic media consumption by individual technical object (for example buildings, laboratories), make possible more precise planning of the media requirement and also give many additional information, for example about correlation between media consumption and the temperature of the environment. The other purpose of this work is to make available the selected information stored in the database in server to use it during the didactical classes with the use of the real mea-surement data. The advantage of presented system conception is its scalability.