Prototypowy system stereowizyjny typu Machine Vision –działanie i dokładność

• Autorzy: Rzeszotarski D. , Sawicki P. , Ostrowski B.

Warianty tytułu

EN

Prototype sterovision system of machine vision type – operation and accuracy

• Języki publikacji: PL

Abstrakty

PL

W pracy przedstawiono istotę działania i wstępna ocenę dokładności prototypowego cyfrowego systemu stereowizyjnego, który stanowi podstawę konstrukcji urządzenia wspomagającego osobę niewidoma w percepcji otoczenia (projekt badawczy realizowany w Instytucie Elektroniki Politechniki Łódzkiej). W prototypowej wersji systemu zastosowano 2 kolorowe kamery cyfrowe Flea® firmy Point Grey (rozdzielczość 1024×768, interfejs IEEE 1394), wyposażone w obiektywy Ernitec f = 3.5 mm. Kalibracja kamer została przeprowadzona za pomocą programu wspomaganego biblioteką OpenCV (Intel® Open Source Computer Vision Library). Proces automatycznego wyznaczenia gęstej mapy dysparycji (mapy paralaks podłu_nych) został wsparty algorytmem dopasowującym obszary (winx×winy - okno korelacji). Zastosowana miara podobieństwa jest suma wartości bezwzględnych różnic SAD (Sum of Absolute Differences), obliczana technika „przesuwanych okien” (sliding window). Poszukiwanie wiarygodnych minimów miary SAD jest wykonywane w czterech krokach przez znalezienie minimum globalnego SADmin oraz trzech najmniejszych wartości SAD1 < SAD2 < SAD3. Za pomocą mapy dysparycji i parametrów orientacji zewnętrznej modelu (macierze przekształcenia MR , ML) wyznaczane są współrzędne 3D sceny. Algorytm segmentacji sceny 3D realizuje w trybie iteracyjnym detekcje płaszczyzn oraz obiektów „przeszkód”. Procedura akwizycji obrazów cyfrowych, generowanie mapy dysparycji i segmentacji zostały zaimplementowane na platformie procesora sygnałowego DSP (Digital Signal Processor). Ocenę dokładności systemu wykonano na podstawie stereopar zdjęć cyfrowych (baza zdjęć B = 80.75 mm) dwóch przestrzennych pól testowych. Współrzędne 3D punktów zostały wyznaczone na podstawie wygenerowanej gęstej mapy dysparycji (okno korelacji wyniosło 25×25pikseli). Algorytm dysparycji wykrył średnio ca 72 % sygnalizowanych punktów kontrolnych. Średnia odchyłka kwadratowa dla współrzędnych 3D w układzie współrzędnych systemu stereowizyjnego wyniosła _XYZ = ±39.6 mm (test 1) oraz _XYZ = ±124.1 mm (test 2). Średnia odchyłka kwadratowa dla współrzędnych X, Y, Z po transformacji 3D do układu obiektu wyniosła _XYZ = ±72 mm (test 1) oraz _XYZ = ±74 mm (test 2).

EN

The prototype of digital stereovision system is presented along with its procedures, main parts and its accuracy evaluation. The presented system is a prototype for vision module in electronic travel aid device for the blind, being designed and developed in Institute of Electronics in Technical University of Lodz. The system consists of two Flea type Point Grey digital cameras (resolution of 1024×768, IEEE 1394 interface) and Ernitec f = 3.5 mm objective). The cameras calibration was performed by means of the software using OpenCV library (Intel® Open Source Computer Vision Library). The process of automatic computation of dense disparity maps was performed by the stereo matching local algorithm (with correlation window of a given size). The measure of similarity is defined as a sum of absolute differences (SAD) between pixels form windows surrounding the compared pixels. The SAD values are calculated with the use of sliding window method in order to obtain real time speed of dense disparity maps computation. The procedure of finding rob ust minimum SAD values consists of four steps: searching for global minimum value SADmin and three other smallest values SAD1 < SAD2 < SAD3. The 3D scene coordinates are calculated by means of disparity map values and model exterior orientation parameters (transformation matrices MR , ML). 3D scene segmentation algorithm detects planes and surrounding objects, obstacles. The digital images acquisition, disparity and segmentation map generation are implemented on the DSP (Digital Signal Processor) platform. The accuracy of the system is evaluated by analysing stereo pairs of digital pictures of two different 3D test fields. The base line of stereoscopic set of cameras used in the system was B = 80.75 mm. 3D coordinates were computed by means of dense disparity map values (search window of the matching algorithm was of the size 25×25 pixels) The average effectiveness of signalised check points detection by disparity algorithm was 72 %. RMSE for 3D object coordinates in the stereovision system was _XYZ = ±39.6 mm (test 1) and _ XYZ = ±124.1 mm (test 2). RMSE for X,Y,Z coordinates after 3D transformation into the object coordinates system was _XYZ = ±72 mm (test 1) and _XYZ = ±74 mm (test 2).

Słowa kluczowe

PL

kamera cyfrowa; system stereowizyjny; dysparycja; dokładność; procesor sygnałowy

EN

digital camera; stereovision system; disparity; accuracy; signal processor

• Wydawca: Zarząd Główny Stowarzyszenia Geodetów Polskich
• Czasopismo: Archiwum Fotogrametrii, Kartografii i Teledetekcji
• Rocznik: 2007
• Tom: Vol. 17b
• Strony: 717--727
• Opis fizyczny: Bibliogr. 12 poz.

Twórcy

autor

Rzeszotarski D.

• Instytut Elektroniki, Politechnika Łódzka

autor

Sawicki P.

• Zakład Fotogrametrii i Teledetekcji, Uniwersytet Warmińsko-Mazurski w Olsztynie

autor

Ostrowski B.

• Instytut Elektroniki, Politechnika Łódzka

Bibliografia

• 1.Brown M. Z., Burschka D., Hager G. D., 2003. Advances in computational stereo. IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 25, No. 8, s. 993-1008.
• 2.Cyganek B., 2002. Komputerowe przetwarzanie obrazów trójwymiarowych. Akademicka Oficyna Wydawnicza EXIT, Warszawa.
• 3.Di Stefano L., Marchionni M., Mattoccia S., 2004. A PC-based Real-Time Stereo Vision System. Machine Graphics & Vision, Vol. 13, No. 3, s. 197-220.
• 4.Fusiello A., Trucco E., Verri A., 2000. A compact algorithm for rectification of stereo pairs. Machine Vision and Applications, Vol. 12, s. 16-22
• 5.Fusiello A., Trucco E., Verri A., 2007. Rectification of Stereo Pairs. http://profs.sci.univr.it/~fusiello/demo/rect/
• 6.Mao Y., Soatto S., Kosecka J., Sastry S.S., 2004. An invitation to 3-D vision: from images to geometric transformations, Springer-Verlag, New York, Inc.
• 7.Muhlmann K., Maier D., Hesser J., Manner R., 2002. Calculating dense disparity maps from color stereo images, an efficient implementation. International Journal on Computer Vision, Vol. 47, No. 1-3, s. 79-88.
• 8.Open Source Computer Vision Library, 2007.
• 9.http://www.intel.com/technology/computing/opencv/index.htm
• 10.Rzeszotarski D., Strumiłło P., Pełczyński P., Więcek B., Lorenc A., 2006. System obrazowania stereoskopowego sekwencji scen trójwymiarowych. Zeszyty Naukowe Elektronika Politechniki Łódzkiej, Nr 10, s. 165-184.
• 11.Rzeszotarski D., Skulimowski P., Strumiłło P., 2007. A method for verification of dense disparity maps computed from the matching algorithm implemented in the stereovision system. Signal Processing Symposium, Jachranka.
• 12.Skulimowski P., Strumiłło P., 2006. Detekcja płaszczyzn w sekwencji obrazów stereowizyjnych. V Sympozjum Naukowe Techniki Przetwarzania Obrazu, Serock, s. 282-287.