In the paper, two preprocessing methods for virtual view synthesis are presented. In the first approach, both horizontal and vertical resolutions of the real views and the corresponding depth maps are doubled in order to perform view synthesis on images with densely arranged points. In the second method, real views are filtered in order to eliminate blurred or improperly shifted edges of the objects. Both methods are performed prior to synthesis, thus they may be applied to different Depth-Image-Based Rendering algorithms. In the paper, for both proposed methods, the achieved quality gains are presented.
In this paper, a modification of the graph-based depth estimation is presented. The purpose of proposed modification is to increase the quality of estimated depth maps, reduce the time of the estimation, and increase the temporal consistency of depth maps. The modification is based on the image segmentation using superpixels, therefore in the first step of the proposed modification a segmentation of previous frames is used in the currently processed frame in order to reduce the overall time of the depth estimation. In the next step, a depth map from the previous frame is used in the depth map optimization as the initial values of a depth map estimated for the current frame. It results in the better representation of silhouettes of objects in depth maps and in the reduced computational complexity of the depth estimation process. In order to evaluate the performance of the proposed modification the authors performed the experiment for a set of multiview test sequences that varied in their content and an arrangement of cameras. The results of the experiments confirmed the increase of the depth maps quality - the quality of depth maps calculated with the proposed modification is higher than for the unmodified depth estimation method, apart from the number of the performed optimization cycles. Therefore, use of the proposed modification allows to estimate a depth of the better quality with almost 40% reduction of the estimation time. Moreover, the temporal consistency, measured through the reduction of the bitrate of encoded virtual views, was also considerably increased.
W artykule opisano metodę szybkiej syntezy widoków wirtualnych dla systemów telewizji swobodnego punktu widzenia. Zaprezentowana metoda pozwala na syntezę sekwencji wysokiej rozdzielczości w czasie rzeczywistym, umożliwiając użytkownikowi swobodną nawigację w zarejestrowanej scenie, np. wirtualne przemieszczanie się wokół boiska podczas meczu siatkówki. Opisana metoda została zrealizowana wyłącznie na CPU, a więc może zostać użyta również na komputerach osobistych z tanimi, zintegrowanymi kartami graficznymi.
EN
In the paper the fast virtual view synthesis method for FTV systems was described. Presented method allows to synthesize high resolution sequences in the real time, allowing the user to freely navigate within acquired scene, e.g. changing viewpoints during the volleyball match. Described method was realized for CPU only, therefore it can be used also on personal computers with cheap, integrated graphic cards.
Stworzenie nowej metody estymacji map głębi przeznaczonej dla systemów telewizji swobodnego widzenia jest głównym celem przedstawionych badań. W telewizji swobodnego punktu widzenia możliwości widza są rozszerzone poprzez możliwość kontroli aktualnie oglądanego przez niego punktu widzenia sceny. Nowa metoda estymacji map głębi zaproponowana przez autora składa się z trzech części: przestrzennie spójnej estymacji map głębi opartej na segmentacji widoków, metodzie zwiększenia spójności czasowej map głębi zmniejszającej złożoność obliczeniową estymacji oraz nową metodę zrównoleglania procesu optymalizacji opartego na wykorzystaniu grafów.
EN
The development of a novel depth estimation method for free viewpoint television systems is the main goal of presented research. In free viewpoint television the functionalities offered to a viewer are extended by the possibility of controlling the displayed viewpoint of a scene. The novel method for depth estimation proposed by the author of the dissertation consists of three parts: the interview consistent segment-based depth estimation method, the temporal consistency enhancement that simultaneously increases temporal consistency of depth maps and reduces the complexity of estimation, and a new method of parallelisation for graph based depth estimation methods.
W artykule przedstawiono metodę wykorzystania segmentacji obrazu używając superpikselizacji w estymacji map głębi. Odpowiednie dobieranie współczynnika gładkości na podstawie lokalnej charakterystyki obrazu pozwala na jednoczesne zmniejszenie czasu estymacji map oraz zwiększenie dokładności ich optymalizacji. Pozwala to na uzyskanie dobrej jakości wirtualnych widoków w celach swobodnej nawigacji między kamerami systemu telewizji swobodnego punktu widzenia.
EN
In this paper method of depth map estimation using superpixel image segmentation is presented. Optimal selection of smoothing coefficient, based on local image characteristics, simultaneously decreases time of depth map estimation and improves its accuracy. Better quality of depth maps allows to calculate proper virtual views for free navigation in free-viewpoint television systems.
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.