Hardware implementation of digital image stabilization using optical flow algorithm and FPGA technology

• Autorzy: Piotrowski R. , Szczepański S. , Kozieł S.

Warianty tytułu

PL

Sprzętowa implementacja cyfrowej stabilizacji obrazu z użyciem algorytmu przepływu optycznego oraz technologii układów FPGA

• Języki publikacji: EN

Abstrakty

EN

An efficient simplification procedure of the optical flow algorithm as well as its hardware implementation using the field programmable gate array (FPGA) technology is presented. The modified algorithm is based on block matching of subsets of successive frames, and exploits one-dimensional representations of subsets. Also, an L₁-normbased correlation function requiring no multiplication/division operations is used. As a result, it was possible to reduce the computational complexity of the algorithm without compromising the processing accuracy. Both the accuracy and the limitations resulting from the introduced simplifications have been verified using several examples of synthetic and real movie sampies. The presented algorithm has been implemented using Virtexll-1000 FPGA to realize a digital stabilization system for the CMOS camera images. Experimental results confirm that our algorithm can be used in battery-powered systems with limited resources.

PL

W artykule przedstawiono efektywną procedurę uproszczenia algorytmu przepływu optycznego oraz jego realizację w układzie programowalnym FPGA. Zmodyfikowany algorytm wykorzystuję metodę blokowego dopasowania podobszarów oraz jednowymiarową reprezentację podobszarów. Dodatkowo, funkcja korelacji oparta jest o normę L₁. W rezultacie uzyskano zmniejszenie zużytych zasobów kosztem nieznacznej utraty dokładności. Zarówno dokładność, jak i ograniczenia wynikające z wykorzystanych uproszczeń zostały zweryfikowane na przykładzie kilku sekwencji obrazów rzeczywistych oraz syntetycznych. Zaproponowane rozwiązanie zostało zaimplementowane w układzie VirtexII-1000 i zastosowane do realizacji algorytmu cyfrowej stabilizacji obrazu z kamery CMOS. Wyniki eksperymentalne w pełni potwierdzają możliwość wykorzystania przedstawionego algorytmu w systemach o ograniczonych zasobach sprzętowych.

Słowa kluczowe

EN

optical flow; digital image stabilization; FPGA

PL

przepływ optyczny; cyfrowa stabilizacja obrazu; programowalne układy cyfrowe

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Elektronika : konstrukcje, technologie, zastosowania
• Rocznik: 2010
• Tom: Vol. 51, nr 2
• Strony: 132--135
• Opis fizyczny: Bibliogr. 11 poz., rys.

Twórcy

autor

Piotrowski R.

autor

Szczepański S.

autor

Kozieł S.

• Politechnika Gdańska, Wydział Elektroniki, Telekomunikacji i Informatyki

Bibliografia

• [1] Lucas B. D. and Kanade T.: An Iterative Image Registration Technique with an Application to Stereo Vision (IJCAI). Proceedings of the 7th International Joint Conference on Artificial Intelligence (IJCAI '81), April, 1981, pp. 674-679.
• [2] Kim J., Sikora T.: Hybrid recursive energy-based method for robust optical flow on large motion fields. ICIP (1) 2005, 129-132.
• [3] Janschek K., Tchernykh V., Beck M.: Optical Flow based Navigation for Mobile Robots using an Embedded Optical Correlator. Preprints of the 3rd IFAC Conference on Mechatronic Systems Mechatronics 2004, 6-8 September 2004, Sydney, Australia, pp.793-798.
• [4] Barron J. L., Fleet D. J., and Beauchemin S. S.: Performance of optical flow techniques. International Journal of Computer Vision, vol. 12, pp. 43-77, 1994.
• [5] Ancona N. and Poggio T.: Optical Flow from 1D Correlation: Application to a simple Time-To-Crash Detector. Fourth International Conference on Computer Vision, IEEE Computer Society Press, May 11-14, 1993, Berlin, Germany, pp. 209-214.
• [6] Ko S. J., Lee S. H., and Lee K. H.: Digital image stabilizing algorithms based on bit-piane matching. IEEE Trans. Consumer Electron., vol. 44, no 3, pp. 796-800, Aug., 1998.
• [7] McCane B., Novins K., Crannitch D., and Galvin B.: On bench-marking optical flow. Comput. Vis. Image Understanding, vol. 84, pp. 126-143, 2001.
• [8] Erturk S.: Digital image stabilization with sub-image phase correlation based global motion estimation. IEEE Trans. Consumer Electron., vol. 49, no 4, pp. 1320-1325, Nov., 2003.
• [9] Wei Z., Lee D. J., Nelson B., Archibald James K., and Edwards Barrett B.: FPGA-Based Embedded Motion Estimation Sensor. International Journal of Reconfigurable Computing Volume 2008 (2008).
• [10] Wei Z., Lee D. J., Nelson B., and Martineau M.: A fast and accurate tensor-based optical flow algorithm implemented in FPGA. In Proceedings of the IEEE Workshop on Applications of Computer Vision (WACV '07), p. 18, Austin, Tex, USA, February 2007.
• [11] Diaz J., Ros E., Pelayo F., Ortigosa E. M., Mota S.: FPGAbased realtime optical-flow system. IEEE Transactions on Circuits and Systems for Video Technology, 16,2 (2006), 274-279.