Artykuł towarzyszy referatowi plenarnemu na temat najnowszej normy kodowania wizji – ISO/IEC 23090 część 12: MPEG Immersive Video (MIV). Zastosowaniem tej normy jest kompresja danych wizyjnych z wielu kamer do wykorzystania w rzeczywistości wirtualnej. Norma kodowania MIV jest niezależna od kodeków wideo, tj. obejmuje przetwarzanie wstępne i końcowe wokół istniejących kodeków, takich jak AVC, HEVC i VVC. Autorzy artykułu – wieloletni członkowie grupy eksperckiej ISO/IEC JTC1/SC29 WG11 MPEG, aktualnie WG04 MPEG Video Coding – wyjaśniają zasadę działania kodera i dekodera MIV, opisując najistotniejsze narzędzia umożliwiające efektywną kompresję wizji zarejestrowanej systemem wielokamerowym. Ponadto autorzy skupiają się na wymaganiach praktycznych systemów rzeczywistości wirtualnej, prezentując zalety i możliwości wykorzystania dwóch podstawowych profili MIV: profilu głównego (MIV Main) oraz profilu zakładającego estymację głębi po stronie odbiorczej (MIV Geometry Absent).
EN
The paper accompanies the plenary lecture which provides an overview of the latest video coding standard – ISO / IEC 23090 Part 12: MPEG Immersive Video (MIV). An application of this standard is the compression of video from multiple cameras for virtual reality applications. The MIV encoding standard is independent of the video codecs, i.e., it consists of pre-processing and post-processing merged with using existing codecs such as AVC, HEVC, and VVC. The authors of the paper – long-term experts of the ISO/IEC JTC1/SC29 WG11 MPEG, currently WG04 MPEG Video Coding – explain the principles of the MIV encoder and decoder, describing the most important tools enabling effective compression of video recorded with a multi-camera system. In addition, the authors focus on the practical requirements of virtual reality systems, presenting the advantages and possibilities of using two basic MIV profiles: the main profile (MIV Main) and the profile assuming estimation of depth on the decoder side (MIV Geometry Absent).
As the most recent video coding standard, High Efficiency Video Coding (HEVC) adopts various novel techniques, including a quad-tree based coding unit (CU) structure and additional angular modes used for intra encoding. These new techniques achieve a notable improvement in coding efficiency at the penalty of significant computational complexity increase. Thus, a fast HEVC coding algorithm is highly desirable. In this paper, we propose a fast intra CU decision algorithm for HEVC to reduce the coding complexity, mainly based on a key-point detection. A CU block is considered to have multiple gradients and is early split if corner points are detected inside the block. On the other hand, a CU block without corner points is treated to be terminated when its RD cost is also small according to statistics of the previous frames. The proposed fast algorithm achieves over 62% encoding time reduction with 3.66%, 2.82%, and 2.53% BD-Rate loss for Y, U, and V components, averagely. The experimental results show that the proposed method is efficient to fast decide CU size in HEVC intra coding, even though only static parameters are applied to all test sequences.
In the new HEVC standard, there are 35 intraframe prediction modes. Therefore, real-time implementations need fast mode pre-selection to reduce the computational load of cost comparison for individual modes. In this paper, a simple technique is proposed to reduce the complexity of the Unified Intra Prediction by decreasing the mode candidate number evaluated in the Rough Mode Decision step. We call this approach hierarchical as we decrease stepwise the angles between the directions of the prediction modes that are tested. Obviously, the fast mode selection results in significant complexity reduction obtained at the cost of choosing a sub-optimum mode related to slightly reduced compression performance. In the paper, it is proposed how to calculate the trade-off between encoder complexity and compression performance, using the ratio of relative coding time reduction and average bitrate increase estimated for constant decoded video quality. Extensive experiments prove that this ratio is much higher for the proposed technique than for many other techniques from the references.
Standard H.265/HEVC jest obecnie najbardziej zaawansowanym standardem kompresji danych wizyjnych. Oferuje on do 50% lepszą kompresję niż jego poprzednik – H.264/AVC, jednak kosztem znacznie większej złożoności. Mnogość oferowanych przez niego trybów predykcji oraz kodowania skutkuje bardzo wysokim zapotrzebowaniem na moc obliczeniową kodera, zwłaszcza przy wysokich rozdzielczościach. Artykuł przedstawia wpływ uproszczeń kodera na efektywność kompresji w standardzie H.265/HEVC.
EN
H.265/HEVC is the state-of-the art video compression standard. It improves the compression performance up to 50% compared to its predecessor – H.264/AVC – at the cost of vastly increased complexity. The plurality of available coding and prediction modes makes the H.265/HEVC encoder computationally demanding, especially in high resolutions. This paper analyzes the impact of simplifications on compression efficiency of H.265/HEVC encoder.
Artykuł opisuje algorytm wyboru trybu predykcji wewnątrzobrazowej dla standardu H.265/HEVC. Przedstawione rozwiązanie zostało opracowane celem wykorzystania w sprzętowych koderach czasu rzeczywistego, co oznacza uwzględnienie problemów związanych z opóźnieniem pętli rekonstrukcji oraz skalowalnością obliczeniową. Wpływ algorytmu na efektywność kompresji został zbadany dla różnorodnych sekwencji wideo o rozdzielczościach od 416×240 do 3840×2160.
EN
The article presents an intra mode decision algorithm for the H.265/ HEVC standard. The proposed solution was designed to satisfy the requirements of the real time hardware encoders, presenting an efficient solution for problems associated with the reconstruction loop delay and computational scalability. The influence of the proposed algorithm on the compression efficiency was examined for the various video sequences with resolutions ranging from 416×240 to 3840×2160.
Techniki wyspecyfikowane w standardach kompresji wideo pozwalają usunąć mniej istotne informacje z przetwarzanego materiału wideo przy ograniczeniach na stopień kompresji. Operacja ta jest przeprowadzana w module kwantyzacji, podczas gdy dekwantyzacja odtwarza dane wejściowe z pewnym błędem. Moduły te mogą zużywać znaczną ilość zasobów sprzętowych, gdy koder implementowany jest w układach scalonych. W artykule opisano metody optymalizacji architektur FPGA przeznaczonych dla tych modułów. Metody te pozwalają na lepsze wykorzystanie zasobów dostępnych w jednostkach DSP i zmniejszenie liczby elementów logicznych ogólnego przeznaczenia. Różne wersje architektur zostały opracowane dla układów FPGA, aby pokazać wpływ proponowanych optymalizacji na zasoby. Wyniki implementacji pokazują znaczna redukcję logiki ogólnego przeznaczenia. Co więcej wykorzystanie rejestrów wbudowanych w jednostkach DSP podwaja maksymalne częstotliwości pracy.
EN
Techniques specified in video compression standards allow the removing of less important information from a processed video subject to bit-rate constraints. This operation is performed in the quantization module, whereas the dequantization restores input data with a certain error. The modules can consume a significant amount of hardware resources when the video encoder is implemented in integrated circuits. This paper presents optimization methods for FPGA architectures dedicated for the modules. The methods allow a better utilization of resources available in DSP units and the reduction of the number of general-purpose logic elements. Different versions of architectures are developed for FPGA devices to show the impact of proposed optimizations on resources. Implementation results show that the significant reduction of general-purpose logic is achieved. Furthermore, the utilization of registers embedded in DSP units can double the maximal clock frequency.
W artykule zaprezentowano nowy sposób estymacji przepływności bitowej sekwencji wizyjnych z predykcją między-ramkową. Proponowane rozwiązanie opiera się na wykorzystaniu stosunków rozmiarów bitowych kolejnych ramek wideo. Takie podejście upraszcza proces wyznaczania parametrów kodowania eliminując kosztowne obliczeniowo operacje mnożenia. Umożliwia to prostszą implementację sprzętową proponowanego algorytmu kontroli stopnia kompresji.
EN
In this paper, a novel rate control algorithm for video sequences with interframe prediction is presented. The proposed approach exploits dependencies between bit-rates of successive frames and simplifies the rate control process by excluding complex multiplications. It is an important goal as recent rate control algorithms are quite complex and their implementations, particularly in hardware structures, can be inconvenient.
Artykuł opisuje architekturę sprzętowego modułu predykcji wewnątrzramkowej (Intra) dla standardu H.265/HEVC. Umożliwia ona przygotowanie predykcji dla dowolnego trybu i rozmiaru jednostki predykcji. Aby zminimalizować zużycie zasobów każde z wymaganych mnożeń jest wykonywane za pomocą multiplekserów i sumatorów. Architektura może pracować z częstotliwością 100 MHz przy syntezie dla układów FPGA Stratix III oraz z częstotliwością 200 MHz przy syntezie dla technologii TMSC 0,13 μm.
EN
This work presents an Intra prediction architecture, fully compliant with the H.265/HEVC standard. The design supports full range of features included in the standard i. e. all Prediction Unit sizes and all modes. To minimize the resources consumption any required multiplication is carried out using multiplexers and adders. The architecture can operate at 100 MHz and 200 MHz for FPGA Stratix III devices and the TSMC 0.13 μm technology, respectively.
9
Dostęp do pełnego tekstu na zewnętrznej witrynie WWW
Przedstawione badania opierały się na oprogramowaniu referencyjnym dla standardu Multiview Video Coding, opracowanym przez Instytut Fraunhofer HHI. Celem badań była analiza wpływu metod realizacji predykcji międzywidokowej na przepływność bitową sygnału wyjściowego oraz wskaźnik PSNR opisujący jakość obrazu. Na podstawie przeprowadzonych testów wyciągnięto wnioski dotyczących efektywności kompresji wideo w oparciu o standard H.264/AVC MVC w kontekście systemów monitorowania.
EN
Presented research results has been obtained by using the reference software for Multiview Video Coding developed by Fraunhofer HHI Institute. The main aim of the research was an analysis of the intraview prediction methods and their impact on the of output video stream bitrate and PSNR ratio describing the video quality, has been assessed. The presented tests allowed us to identify the effectiveness of video compression based on the H.264/MVC standard in the context of monitoring systems.
10
Dostęp do pełnego tekstu na zewnętrznej witrynie WWW
The emerging 3D television systems require effective techniques for transmission and storage of data representing a 3-D scene. The 3-D scene representations based on multiple video sequences or multiple views plus depth maps are especially important since they can be processed with existing video technologies. The review of the video coding and transmission techniques is presented in this paper.
Przedstawiono nową technikę bardzo efektywnego kodowania wizji - HEVC, która znajduje się w końcowej fazie procesu normalizacyjnego w ISO i ITU. Przedstawiono także rozszerzenia techniki HEVC dla kodowania sekwencji wielowidokowych oraz obrazów trójwymiarowych w reprezentacji MVD (multiview + depth). Dla wspomnianych rozszerzeń techniki HEVC omówiono wyniki eksperymentalne określające uzyskiwaną efektywność kompresji.
EN
The paper deals with the new video compression technology called "High Efficiency Video Coding" that is in the final stage of standardization by ISO and ITU. The HEVC technology yields 50% reduction of the bitrates as compared to the commonly used state-of-the-art AVC technology (ITU-T Rec. H.264, ISO/IEC International Standard 14496-10 called MPEG-4 part 10). Described are also HEVC extensions for multiview video compression as well as for compression of 3-dimensional video. For the abovementioned HEVC extensions some experimental results are discussed in the context of compression performance assessment.
Poniższy artykuł zawiera opis sprzętowej realizacji dekodera nagłówków strumienia oraz kontekstowo-adaptacyjnego dekodera kodów zmiennej długości zgodnych ze standardem kompresji wideo H.264/AVC. Przedstawiony układ jest w stanie odczytać i zdekodować parametry strumienia oraz dane sterujące poszczególnych elementów składni jak również odtworzyć bloki współczynników zapisanych przy użyciu kodera VLC. Zaprojektowany moduł został poddany syntezie zarówno dla technologii FPGA jak i ASIC a poprawność jego działania została zweryfikowana zgodnie z modelem referencyjnym JM w wersji 16. Wyniki syntezy proponowanego dekodera pokazują, iż może pracować on z częstotliwością taktowania 100MHz na układach FPGA z rodziny Stratix II, co pozwala na obsłużenie sekwencji w wysokiej rozdzielczości HDTV.
EN
This paper describes the implementation of a stream header decoder and a context-adaptive variable-length decoder in conformity with the H.264/AVC standard. This module is able to decode headers of syntax elements and to decode blocks of transform coefficients coded using context-adaptive variable-length coder. The designed module is synthesized based on FPGA and ASIC technologies and verified with the reference model JM in version 16. The implementation results show that the architecture can work at 100 MHz for FPGA Stratix II devices and can support HDTV in real time. There are two main methods of improving the CAVLC decoding process. The most common is a multi-symbol decoding architecture shown in [1], [4], and [5]. In [2] a Hierarchical logic for Look-up tables (HLLT) algorithm is proposed. It simplifies calculation of the coefficient-token parameter but generates a five-element long cascade which may reduce the speed of decoding process. In [5] also a way of grouping the coeffi-cient-token codewords is proposed. All the publications concentrate mainly on the CAVLC design and do not describe decoding of control data in detail (e.g., headers, macroblock/block types, coded block pattern, and motion vectors). The proposed binary decoder supports all the functionality of H.264/AVC High Profile, except of MBAFF mode and SEI elements. Although the architecture needs more logic gates than other analyzed designs, it enables also decoding of all syntax elements and provides much more functionality. The throughput is sufficient to support HDTV applica-tions in real time.
The framework for testing video streaming techniques is presented in this paper. Short review of error resilience and concealments tools available for the H.264/AVC standard is given. The video streaming protocols and the H.264 payload format are also described. The experimental results obtained with the framework are presented in this paper too.
This paper summarizes recent research on network-on-multi-chip (NoMC) at Poznań University of Technology. The proposed network architecture supports hierarchical addressing and multicast transition mode. Such an approach provides new debugging functionality hardly attainable in classical hardware testing methodology. A multicast transmission also enables real-time packet monitoring. The introduced features of NoC network allow to elaborate a model of hardware video codec that utilizes distributed processing on many FPGAs. Final performance of the designed network was assessed using a model of AVC coder and multi-FPGA platforms. In such a system, the introduced multicast transmission mode yields overall gain of bandwidth up to 30%. Moreover, synthesis results show that the basic network components designed in Verilog language are suitable and easily synthesizable for FPGA devices.
Omówiono podstawowe zagadnienia związane ze strumieniowaniem danych multimedialnych w sieciach IP oraz kodowaniem sekwencji wizyjnych. Szczególną uwagę zwrócono na standard kodowania wideo MPEG-4 AVC/H.264. Przedstawiono metody enkapsulacji strumienia H.264 w pakietach RTP. Omówiono wpływ metody enkapsulacji i parametrów kodera na efektywność transmisji.
EN
The paper deals with multimedia data transmission in the IP networks and video coding. Special attention is paid to the MPEG-4 AVC/H.264 video coding standard. The RTP packetization modes for the H.264 video have been presented. The dependency of the transmission efficiency on the packetization mode and the coder configuration have been discussed.
The aim of this paper is to present an implementation and simulation of parallel 4x4 transform on bit-serial shared memory architecture for H.264/AVC. Compared with the existing parallel implementations, the proposed architecture reduces interconnection resources of physical elements of FPGA device. The results of simulation show that the transform can be realized in real–time on bitserial arithmetic. The paper concludes with a summary.
PL
Praca zawiera opis implementacji oraz symulacji równoległego przekształcenia 4x4 stosowanego w H.264/AVC, bazując na bitowo-szeregowej architekturze o współdzielonej pamięci. W porównaniu z istniejącymi rozwiązaniami implementacji równoległej, proponowana architektura obliczeniowa redukuje liczbę linii połączeń wewnętrznych fizycznego układu FPGA. Zawiera ona również wyniki symulacji, pokazujące możliwość wykonywania przekształcenia w czasie rzeczywistym, przy zastosowaniu arytmetyki szeregowej.
W artykule przedstawiono analizę możliwości transkodowania strumienia MPEG-2 Video do MPEG-4 AVC/H.264 w dziedzinie współczynników transformaty. Omówiono metodę konwersji współczynników transformaty 8 x 8 DCT, stosowanej w standardzie MPEG-2 Video na współczynniki transformaty całkowitoliczbowej 4 x 4 HT, stosowanej w standardzie MPEG-4 AVC/H.264. W dalszej części przedstawiono zastosowanie tej metody do przetwarzania makrobloków kodowanych w trybach Inter oraz Intra. Analiza złożoności obliczeniowej w obu przypadkach prowadzi do wniosku, że realizacja operacji transkodowania w dziedzinie współczynników transformaty jest niestety bardziej złożona niż w dziedzinie pikselowej.
EN
In this paper the analysis of methods for transcoding of MPEG-2 Video to MPEG 4 AVC/H.264 in transform domain is presented. The algorithm for converting coefficients of the 8 x 8 DCT, used in MPEG-2 Video standard, to coefficients of the integer 4 x 4 HT, used in MPEG-4 AVC/H.264 standard is discussed. Furthermore, the application of this algorithm for processing of Inter and Intra macroblocks is presented. The analysis of computational complexity leads to the conclusion, that transcoding in transform domain is, unfortunately, more complex compared to transcoding in pixel domain.
Zaproponowano metody oceny/kontroli jakości medycznych badań wideo kompresowanych i transkodowanych w celu efektywnego gromadzenia i archiwizacji tych badań, a także transmisji, zarządzania danymi wideo w medycznych systemach informacyjnych, doskonalenia metod telekonsultacji i telediagnozy. Zaproponowano numeryczną miarę jakości wideo bazującą na różnorodnych metrykach opisu różnic uzupełnionych modelami percepcji przestrzennej i czasowej oraz ogólnymi przesłankami (wskaźnikami) diagnostycznych znaczeń określonych cech obrazów. Ponadto opisano procedurę subiektywnego testu oceny jakości badań, dostosowaną do specyfiki testu kontroli jakości. Wykonano eksperymenty na zbiorach badań bronchoskopowych oraz kontrastowych badań USG, kodowanych według MPEG-2, MPEG-4 oraz H.264 z uwzględnieniem transkodowania pomiędzy poszczególnymi standardami kompresji.
EN
This paper presents the results of initial research in the subject of quality assessment for compression and transcoding of medical video. Applications for medical information systems were considered, i.e. data storage and communication according to MPEG-2, MPEG-4 and H.264 standards for were considered. Optimized compression and transcoding to Iow bit rates of bronchoscopy and contrast ultrasound examinations were studied. Subjective rating according to natural image quality criteria and different scenarios were used. Numerical measure highly correlated to preferred subjective rating procedure was concluded.
This paper presents the results of initial research in the subject of video quality assessment for bronchoscopy examinations compressed or transcoded in medical information systems. Data storage and communications according to video coding paradigms, MPEG-2, MPEG-4, h.264 or other standards requires reliable metrics of data accuracy, especially for medical applications. Subjective and perceptually optimized numerical measures were considered. OMWV as numerical metric conception and SQAMVI as subjective assessment procedure were defined, experimentally verified and summarized. Video codecs and transcoders were tested with data accuracy monitoring.
"Wąskim gardłem" transmisji obrazu i dżwięku w ramach wideokonferencji jest szerokość pasm sieci komputerowej. Przy niemożności szybkiego jej zwiększenia skutecznym narządziem pozwalającym na polepszenie jakości wideokonferencji okazało się doskonalenie metod kodowania i kompresji wymienionych mediów. W artykule przedstawione zostały wybrane techniki kodowania i kompresji obrazu i dźwięku. Przeanalizowano ich cechy oraz określono, które z nich i w jakim stopniu wpływają na jakość wideokonferencji.
EN
A "bottle neck" of audio and video transmission during videoconferencing is a network bandwidth. Because it is impossible to quickly change this situation, the good idea is to improve methods of audio and video coding and compressing to reach better quality of videoconferencing. The purpose of the paper is presenting selected methods of audio and video coding and compressing. After their attributes analysis there is possible to qualify, which of them and how strongly influence on quality of videoconferencing.
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.