Ograniczanie wyników
Czasopisma help
Autorzy help
Lata help
Preferencje help
Widoczny [Schowaj] Abstrakt
Liczba wyników

Znaleziono wyników: 31

Liczba wyników na stronie
first rewind previous Strona / 2 next fast forward last
Wyniki wyszukiwania
Wyszukiwano:
w słowach kluczowych:  kompresja danych
help Sortuj według:

help Ogranicz wyniki do:
first rewind previous Strona / 2 next fast forward last
EN
Data compression combined with effective encryption is a common requirement of data storage and transmission. Low cost of these operations is often a high priority in order to increase transmission speed and reduce power usage. This requirement is crucial for battery-powered devices with limited resources, such as autonomous remote sensors or implants. Well-known and popular encryption techniques are frequently too expensive. This problem is on the increase as machine-to-machine communication and the Internet of Things are becoming a reality. Therefore, there is growing demand for finding trade-offs between security, cost and performance in lightweight cryptography. This article discusses asymmetric numeral systems-an innovative approach to entropy coding which can be used for compression with encryption. It provides a compression ratio comparable with arithmetic coding at a similar speed as Huffman coding; hence, this coding is starting to replace them in new compressors. Additionally, by perturbing its coding tables, the asymmetric numeral system makes it possible to simultaneously encrypt the encoded message at nearly no additional cost. The article introduces this approach and analyzes its security level. The basic application is reducing the number of rounds of some cipher used on ANS-compressed data, or completely removing an additional encryption layer when reaching a satisfactory protection level.
PL
Metody hybrydowej kompresji wizji zrewolucjonizowały sposób zapisu oraz transmisji cyfrowego obrazu. Coraz wydajniejsza reprezentacja obrazu torowała drogę do szerokiego wdrożenia multimedialnych systemów kolejnych generacji, jak cyfrowa telewizja, kino domowe czy telewizja w Internecie. Jednak możliwości te nie pojawiły się z dnia na dzień. Są one wynikiem wielu lat badań, ulepszeń już istniejących rozwiązań, ale również wdrażania nowych pomysłów. W artykule przedstawiono skalę tego postępu w ciągu ostatnich dwóch dekad. Poddano ocenie kolejne generacje koderów obrazu, od MPEG-2 do nowej techniki HEVC, zarówno pod względem samych osiągów kompresji, jak również innych cech techniki, których nie sposób pominąć realizując jej wdrożenie.
EN
Hybrid video compression has revolutionized the way of a video saving and transmission. More and more efficient representation of a video paved the way for the broad implementation of multimedia systems of successive generations, such as digital television, home cinema or television over the Internet. However, these opportunities did not appear from day to day. They are the result of many years of research, improvements of existing solutions, but also the implementation of new ideas. The paper presents the scale of this progress over the last 2 decades. It evaluates the successive generations of video encoders, from MPEG-2 to the new HEVC technology, both in terms of its compression efficiency, as well as other technical features that can not be omitted while putting the technology into the market.
EN
In this paper, we introduce a novel method of joint compression and encryption of visual data. In the proposed approach the compression stage is based on block quantization while the encryption uses fast parametric orthogonal transforms of arbitrary forms in combination with a novel scheme of intra-block mixing of data vectors. Theoretical analysis of the method indicates no impact of encryption stage on the effectiveness of block quantization with an additional step of first order entropy coding. Moreover, a series of experimental studies involving natural images and JPEG lossy compression standard were performed. Here, the obtained results indicate a high level of visual content concealment with only a small reduction of compression performance. An additional analysis of security allows to state that the proposed method is resistant to cryptanalytic attacks known for visual data encryption schemes including the most efficient NZCA attack. The proposed method can be also characterized by high computational efficiency and feasibility of hardware realizations.
EN
Data gathered through seabed surveys performed using multibeam echosounder tend to be significant in size. Quite often a single measurement session leads to obtaining even several million distinct points (usually in x, y, z format). These data are saved in files (often text files), where x, y represent the location of a point (in geographical format, or more commonly in UTM format) and z represents the measured depth at the respective point. Due to the huge amount of such points, the data occupy a significant space in memory or in storage system (the order of megabytes for small areas and of gigabytes for larger ones). The paper contains a survey of existing methods of compressing ASCII UTM files and a proposal of a novel method tailored for a particular data structure. As a result of utilising differential coding and coding using varying length values, the size of such files can be diminished by a factor exceeding ten, while preserving the full information. The paper presents a detailed description of the proposed algorithm and experimental results using real data.
PL
Dane pozyskane z sondaży dna morskiego wykonane z użyciem sondy wielowiązkowej cechują się znacznym rozmiarem. Bardzo często w wyniku jednej sesji pomiarowej otrzymujemy nawet kilka milionów pojedynczych punktów (najczęściej w formacie x,y,z). Informacje te zapisywane są w plikach, często tekstowych, gdzie x,y to położenie punktu (w formacie geograficznym lub częściej UTM), a z określa zmierzoną głębokość w tym punkcie. Ze względu na ogromną liczbę tych punktów dane te zajmują w pamięci komputera lub na dyskach znaczny rozmiar (liczony w MB dla małych obszarów lub GB dla większych). Autorzy przedstawili w artykule różne metody kompresji plików ASCII UTM, w tym opracowaną autorską metodę dopasowaną do struktury danych. Dzięki zastosowaniu metody zapisu różnicowego z wykorzystaniem zmiennej długości w bajtach możemy ponad dziesięciokrotnie zmniejszyć rozmiary tego typu plików, przy zachowaniu pełnej informacji. W artykule przedstawiono dokładny algorytm oraz testy wykonane na danych rzeczywistych.
5
Content available remote 2D DCT compression in the switched-current technique
EN
The article presents a methodology for designing an analogue processor for a DCT compression using methods and strategies for designing digital circuits: the row strategy, a standard digital router and an automatic synthesis of architecture from its description in a VHDL-AMS language. The correctness of work of the topography has been verified with post-layout simulations of processing an exemplary image in the compressing task, using the discrete cosine transform. The quality of processing has been compared with other solutions available in literature by calculating the PSNR and Accuracy coefficients for the processed image. The article also presents changes of the PSNR coefficient depending on the level of the applied compression.
PL
W artykule zaprezentowana została metodologia projektowania analogowego procesora kompresji DCT z wykorzystaniem metod i strategii projektowania układów cyfrowych: strategii wierszowej, standardowego cyfrowego routera oraz metod automatycznej syntezy architektury z jej opisu w języku VHDL-AMS. Poprawność działania topografii zweryfikowana została symulacjami post-layoutowymi procesu przetwarzania przykładowego obrazu w zadaniu jego kompresji za pomocą dyskretnej transformaty kosinusowej. Jakość przetwarzania porównana została z innymi rozwiązaniami dostępnymi w literaturze poprzez wyliczenie współczynników PSNR oraz Accuracy dla przetworzonego obrazu. W artykule zaprezentowano również zmiany współczynnika PSNR w zależności od stopnia zastosowanej kompresji.
PL
Prezentowane w pracy badania dotyczą bezstratnej kompresji danych opartej o metodę Huffmana i zgodnej ze standardem deflate stosowanym w plikach .zip / .gz. Zaproponowana jest optymalizacja kodera Huffmana polegająca na podziale na bloki, w których stosuje się różne książki kodowe. Wprowadzenie dodatkowego bloku z reguły poprawia stopień kompresji kosztem narzutu spowodowanego koniecznością przesłania dodatkowej książki kodowej. Dlatego w artykule zaproponowano nowy algorytm podziału na bloki.
EN
According to deflate [2] standard (used e.g. in .zip / .gz files), an input file can be divided into different blocks, which are compressed employing different Huffman [1] codewords. Usually the smaller the block size, the better the compression ratio. Nevertheless each block requires additional header (codewords) overhead. Consequently, introduction of a new block is a compromise between pure data compression ratio and headers size. This paper introduces a novel algorithm for block Huffman compression, which compares sub-block data statistics (histograms) based on current sub-block entropy E(x) (1) and entropy-based estimated average word bitlength Emod(x) for which codewords are obtained for the previous sub-block (2). When Emod(x) - E(x) > T (T - a threshold), then a new block is inserted. Otherwise, the current sub-block is merged into the previous block. The typical header size is 50 B, therefore theoretical threshold T for different sub-block sizes S is as in (3) and is given in Tab. 2. Nevertheless, the results presented in Tab. 1 indicate that optimal T should be slightly different - smaller for small sub-block size S and larger for big S. The deflate standard was selected due to its optimal compression size to compression speed ratio [3]. This standard was selected for hardware implementation in FPGA [4, 5, 6, 7].
PL
W artykule przedstawiono metody ograniczenia ilości danych podczas zautomatyzowanego pomiaru charakterystyk częstotliwościowych układów elektronicznych poprzez optymalizację rozdzielczości w dziedzinie częstotliwości oraz grupowanie i uśrednianie wyników w ramach ustalonych przedziałów. Efektem przedstawionej metodyki jest redukcja danych pomiarowych i udokładnienie charakterystyk w obszarach o podwyższonej niepewności.
EN
In this paper, there are presented two methods limiting the amount of data during an automated measurement of the frequency response characteristics of linear electric circuits. The first method involves the optimization of the resolution in the frequency domain. It consists in the usage of a changeable frequency of measurements dependent on the gradient of the characteristics of the measured circuit. The frequency of measurements is automatically regulated so that the absolute difference between the values of the subsequent measurements is approximately constant. The second method involves the reduction of data in the areas with the increased measurement uncertainty, with the standard method of increasing the number of measurements. The method requires division of the frequency range with the increased measurement number into intervals, grouping and averaging the data in these intervals. The aforementioned techniques can be applied in parallel, integrating them into a single system. The result of the described integrated methodology is the decrease in the number of measurement data files and frequently decrease in the overall experiment time without significant decrease in the quality of the frequency characteristics reconstruction. Depending on the assumed quality and characteristic of the measurement, the amount of data can be reduced two to ten times. Moreover, the accuracy of the characteristic areas with the increased measurement uncertainty can be increased with the averaging method without the increase in the number of the data. The presented methodology can be implemented in computer measurement systems.
EN
Systems based on principal component analysis have developed from exploratory data analysis in the past to current data processing applications which encode and decode vectors of data using a changing projection space (eigenspace). Linear systems, which need to be solved to obtain a constantly updated eigenspace, have increased significantly in their dimensions during this evolution. The basic scheme used for updating the eigenspace, however, has remained basically the same: (re)computing the eigenspace whenever the error exceeds a predefined threshold. In this paper we propose a computationally efficient eigenspace updating scheme, which specifically supports high-dimensional systems from any domain. The key principle is a prior selection of the vectors used to update the eigenspace in combination with an optimized eigenspace computation. The presented theoretical analysis proves the superior reconstruction capability of the introduced scheme, and further provides an estimate of the achievable compression ratios.
9
Content available remote Text comparison using data compression
EN
Similarity detection is very important in the field of spam detection, plagiarism detection or topic detection. The main algorithm for comparison of text document is based on the Kolmogorov Complexity, which is one of the perfect measures for computation of the similarity of two strings in defined alphabet. Unfortunately, this measure is incomputable and we must define several approximations which are not metric at all, but in some circumstances are close to this behaviour and may be used in practice.
PL
W artykule omówiono metody rozpoznawania podobieństwa tekstu. Głównie używanym algorytmem jest Kolmogotov Complexity. Głównym ograniczeniem jest brak możliwości dane algorytmu są trudne do dalszego przetwarzania numerycznego – zaproponowano szereg aproksymacji.
PL
Niniejszy artykuł opisuje nową architekturę sprzętową kompresji słownikowej, np. LZ77, LZSS czy też Deflate. Zaproponowana architektura oparta jest na funkcji haszującej. Poprzednie publikacje były oparte na sekwencyjnym odczycie adresu wskazywanego przez pamięć hasz, niniejszy artykuł opisuje układ, w którym możliwe jest równoległe odczytywanie tego adresu z wielu pamięci hasz, w konsekwencji możliwa jest kompresja słownikowa z szybkością na poziomie 1B ciągu wejściowego na takt zegara. Duża szybkość kompresji jest okupiona nieznacznym spadkiem stopnia kompresji.
EN
This paper describes a novel parallel architecture for hardware (ASIC or FPGA) implementation of dictionary compressor, e.g. LZ77 [1], LZSS [2] or Deflate [4]. The proposed architecture allows for very fast compression – 1B of input data per clock cycle. A standard compression architecture [8, 9] is based on sequential hash address reading (see Fig. 2) and requires M clock cycles per 1B of input data, where M is the number of candidates for string matching, i.e. hashes look ups (M varies for different input data). In this paper every hash address is looked up in parallel (see Fig. 3). The drawback of the presented method is that the number of M is defined (limited), therefore the compression ratio is slightly degraded (see Fig. 4). To improve compression ratio, a different sting length may be searched independently, i.e. not only 3B, but also 4B, … N B hashes (see results in Fig. 5, 6). Every hash memory (M(N-2)) usually requires a direct look-up in the dictionary to eliminate hash false positive cases or to check whether a larger length sting was found. In order to reduce the number of dictionary reads, an additional pre-elimination algorithm is proposed, thus the number of dictionary reads does not increase rapidly with growing N (see Fig. 7).
PL
W artykule omówiono zastosowanie analizy składników głównych (PCA) w zadaniu kompresji stratnej sygnału na przykładzie kompresji obrazu. Zadanie zrealizowano z wykorzystaniem klasycznej metody PCA oraz dwóch rodzajów sieci neuronowych: jednokierunkowej, dwuwarstwowej sieci z uczeniem nadzorowanym i jednowarstwowej sieci z uczeniem nienadzorowanym. W każdym z przypadków przeanalizowano wpływ struktury modelu PCA na wartości współczynnika kompresji oraz średniokwadratowego błędu kompresji.
EN
In the paper, lossy data compression techniques based on the principal component analysis (PCA) are considered on the example of image compression. The presented task is performed using the classical PCA method based on the eigen-decomposition of the image covari-ance matrix as well as two different kinds of artificial neural networks. The first neural structure used is a two-layer feed-forward network with supervised learning shown in Fig.1, while the second one is a single-layered network with unsupervised Hebbian learning. In each case considered, the effect of the PCA model structure on the data compression ratio and the mean square reconstruction error is analysed. The compression results for a Hebbian neural network with K=4 PCA units are presented in Figs. 2, 3 and 4. They show that only 4 eigenvectors are able to capture the main features of the processed image, giving as a result high value of the data compression ratio. However, the reconstructed image quality is not sufficient from a practical point of view. Therefore, selection of the appropriate value for K should take into account the tradeoff between a sufficiently high value for the compression ratio and a reasonably low value for the image reconstruction error. The summary results for both classical and neural PCA compression approaches obtained for different number of eigenvectors (neurons) are compared in Fig. 5. The author concludes that a positive aspect of using neural networks as a tool for extracting principal components from the image data is that they do not require calculating the correlation matrix explicitly, as in the case of the classical PCA-based approach.
PL
Otwarty standard kompresji danych, Deflate, jest szeroko stosowanym standardem w plikach .gz / .zip i stanowi kombinację kompresji metodą LZ77 / LZSS oraz kodowania Huffmana. Niniejszy artykuł opisuje implementację w układach FPGA dekompresji danych według tego standardu. Niniejszy moduł jest w stanie dokonać dekompresji co najmniej 1B na takt zegara, co przy zegarze 100MHz daje 100MB/s. Aby zwiększyć szybkość, możliwa jest praca wielu równoległych modułów dla różnych strumieni danych wejściowych.
EN
This paper describes FPGA implementation of the Deflate standard decoder. Deflate [1] is a commonly used compression standard employed e.g. in zip and gz files. It is based on dictionary compression (LZ77 / LZSS) [4] and Huffman coding [5]. The proposed Huffman decoded is similar to [9], nevertheless several improvements are proposed. Instead of employing barrel shifter a different translation function is proposed (see Tab. 1). This is a very important modification as the barrel shifter is a part of the time-critical feedback loop (see Fig. 1). Besides, the Deflate standard specifies extra bits, which causes that a single input word might be up to 15+13=28 bits wide, but this width is very rare. Consequently, as the input buffer might not feed the decoder width such wide input date, a conditional decoding is proposed, for which the validity of the input data is checked after decoding the input symbol, thus when the actual input symbol bit widths is known. The implementation results (Tab. 2) show that the occupied hardware resources are mostly defined by the number of BRAM modules, which are mostly required by the 32kB dictionary memory. For example, comparable logic (LUT / FF) resources to the Deflate standard decoder are required by the AXI DMA module which transfers data to / from the decoder.
PL
Praca opisuje zmodyfikowany sposób budowania książki kodowej kodu Huffmana. Książka kodowa została zoptymalizowana pod kątem implementacji sprzętowej kodera i dekodera Huffmana w układach programowalnych FPGA. Opisano dynamiczną metodę kodowania - książka kodowa może się zmieniać w zależności od zmiennego formatu kompresowanych danych, ponadto musi być przesłana z kodera do dekodera. Sprzętowa implementacja kodeka Huffmana wymusza ograniczenie maksymalnej długości słowa, w przyjętym założeniu do 12 bitów, co pociąga za sobą konieczność modyfikacji algorytmu budowy drzewa Huffmana.
EN
This paper presents a modified algorithm for constructing Huffman codeword book. Huffman coder, decoder and histogram calculations are implemented in FPGA similarly like in [2, 3]. In order to reduce the hardware resources the maximum codeword is limited to 12 bit. It reduces insignificantly the compression ratio [2, 3]. The key problem solved in this paper is how to reduce the maximum codeword length while constructing the Huffman tree [1]. A standard solution is to use a prefix coding, like in the JPEG standard. In this paper alternative solutions are presented: modification of the histogram or modification of the Huffman tree. Modification of the histogram is based on incrementing (disrupting) the histogram values for an input codeword for which the codeword length is greater than 12 bit and then constructing the Huffman tree from the very beginning. Unfortunately, this algorithm is not deterministic, i.e. it is not known how much the histogram should be disrupted in order to obtain the maximum codeword length limited by 12 bit. Therefore several iterations might be required. Another solution is to modify the Huffman tree (see Fig. 2). This algorithm is more complicated (when designing), but its execution time is more deterministic. Implementation results (see Tab. 1) show that modifi-cation of the Huffman tree results in a slightly better compression ratio.
15
Content available remote Neural networks for the analysis of mine-induced building vibrations
EN
A study of the capabilities of arti?cial neural networks in respect of selected problems of the analysis of mine-induced building vibrations is presented. Neural network technique was used for the prediction of building fundamental natural period, mapping of mining tremors parameters into response spectra from ground vibrations, soil-structure interaction analysis, simulation of building response to seismictype excitation. On the basis of the experimental data obtained from the measurements of kinematic excitations and dynamic responses of actual structures, training and testing patterns of neural networks were formulated. The obtained results lead to a conclusion that the neural technique gives possibility of e?cient, accurate enough for engineering, analysis of structural dynamics problems related to mineinduced excitations.
PL
W pracy przedstawiono projekt oraz implementację systemu przeznaczonego do kompresji danych z sonarów wielowiązkowych działającego z wykorzystaniem technologii CUDA. Omówiono oraz zastosowano metody bezstratnej kompresji danych oraz techniki przetwarzania równoległego. Stworzoną aplikację przetestowano pod kątem szybkości i stopnia kompresji oraz porównano z innymi rozwiązaniami umożliwiającymi kompresję tego typu informacji.
EN
Recently, multibeam echosounders capable of logging, not only bathymetry focused data, but also the full water-column information have become available. Unlike using bathymetric multibeam sonars, which only capture the seafloor, utilizing full water-column multibeam systems capabilites results in acquiring very large data sets during hydrographic or scientific cruises. The paper presents the concept of algorithms dedicated for reduction of multibeam sonar datasets based on aplying multi-threaded architecture implemented in Graphical Processing Units (GPU). We presented the advantages of utilizing nVdia CUDA technology in the context of efficiency of compression and obtained data reduction ratio.
PL
Ważny nurt badań w zakresie baz danych koncentruje się wokół metod optymalizacji z jednej strony w celu zmniejszenia zajmowanej powierzchni dysków, a z drugiej w celu zwiększenia wydajności. Ma to szczególne znacznie przy coraz większych baza danych gdzie przetwarzane są miliony rekordów. W ramach tego nurtu firma IBM zaproponowała w najnowszej wersji serwera baz danych DB2 9.5 metodę kompresji danych opartą na kompresji wierszy, która oprócz znaczącego zmniejszenia przestrzeni dyskowej jednocześnie skraca czas dostępu do skompresowanych informacji. W przeprowadzonych pracach stwierdzono to oświadczalnie na różnych strukturach danych, a także stosując różne sposoby dostępu do nich.
EN
In the paper, query optimization problem in SQL language in IBM DB2 system is presented. DB2 database system in 9.5 version has possibility of data compression. Data compression is made by searching of recur data in records. For such recur data additional dictionary is prepare. Aim of research was testing of access by user to compress and non-compress data. For this problem special structure of data was prepared. In the paper result of testing compression and non-compression data is presented, too.
18
Content available Self-extracting compressed HTML documents
PL
Kompresja danych jest naturalnym sposobem usunięcia pewnych niedogodności związanych z tekstową reprezentacją danych. W szczególności, kompresja umożliwia przyspieszenie transferu danych w sieci WWW. Choć liczba istniejących rozwiązań kompresujących dane w formacie HTML (i innych formatach webowych) jest znaczna, mają one większy praktyczny sens tylko wtedy, jeśli są one transparentne dla końcowego użytkownika, a pożądaną cechą jest także brak konieczności instalacji dodatkowych pluginów w przeglądarce internetowej. W pracy przedstawiamy algorytm kompresji HTML oparty na klasycznej idei słownikowej (substytucji fraz), z wykorzystaniem dekompresora w JavaScript, który uruchamia się tuż po załadowaniu strony i odtwarza jej oryginalną zawartość. Algorytm ten działa w dowolnej przeglądarce internetowej z włączoną obsługą JavaScript. Eksperymenty pokazują, iż algorytm ten, w połączeniu z klasyczną ideą usuwania nadmiarowych symboli (białe znaki), komentarzy w HTML itp., prowadzi do zmniejszenia oryginalnego rozmiaru dokumentu do około połowy.
EN
Data compression is a natural means to overcome some issues with textual data, in particular, it can accelerate the transfer of web data. Although the number of possible solutions to compress HTML and other web documents is not small, it makes practical sense if the compression scheme is transparent for the user and preferably does not require any plugins or other modifications of a standard web browser. In this paper we present a substitution-based HTML compression algorithm with a JavaScript decompression stub which is launched upon page load and restores the original data, thus working transparently for the client, if only JavaScript execution is turned on. Experiments show that together with visually lossless HTML preprocessing, HTML can be shrunk to about the half of their original size.
19
EN
Web monitoring systems are very useful in e-commerce, as the record of user I actions constitute an important source of information for operational customer relation-1 ship management. As client-side monitoring of the low-level user activity requires a sig-1 niflcant amount of data to be transmitted to the server, the connection speed can be no-1 ticeably decreased. In this paper we show how to solve this problem by compressing data before transmission. We explain the techniques used and present the results of applying [ compression in the system, positively verifying its usefulness.
EN
The paper describes the experimental procedure for testing data compression and storage performance using CoTe software tool. The primary stages of the procedure are explained, along with the data relevant to each stage. By using CoTe, one can significantly reduce time spent on test preparation and gathering of the results.
first rewind previous Strona / 2 next fast forward last
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.