Zastosowanie sieci neuronowych typu Hopfielda w diagnostyce nawierzchni drogowych

• Autorzy: Staniek M.

Identyfikatory

DOI

10.7862/rb.2016.91

Warianty tytułu

EN

Application of Hopfield neural networks in diagnosis of road pavement

• Języki publikacji: PL

Abstrakty

PL

Artykuł dotyczy zagadnień diagnostyki nawierzchni drogowych z wykorzystaniem metod przetwarzania obrazów cyfrowych wspomaganych zastosowaniem sieci neuronowej typu Hopfielda w procesie wzajemnego dopasowania pikseli pary obrazów nawierzchni drogi. Para obrazów rejestrowana z wykorzystaniem stereowizyjnego mobilnego stanowiska pomiarowego, opracowanego przez autora, definiowana jest jako stereo-obraz drogi. W artykule opisano ograniczenia rozwiązań stereowizyjnych oraz przedstawiono problem niejednoznaczności dopasowania dla obszarów o jednakowej intensywności. Określono problem obiektów przesłaniających się w polu widzenia kamer, zidentyfikowano ograniczenia ciągłości wynikające z nagłej zmiany funkcji intensywności obrazów, oraz zwrócono uwagę na typowe ograniczenia związane z przetwarzaniem i rozpoznawaniem obrazów cyfrowych. Podczas implementacji sieci neuronowej zdefiniowano kryteria, których minimalizacja jako składowych funkcji energii pozwoliła na uzyskanie optymalnego dopasowania pikseli stereo-obrazów, tym samym właściwego odwzorowania nawierzchni drogowej. Do rozwiązania zadania optymalizacji wielokryterialnej zaproponowano kryteria maksymalizacji i jednoznaczności dopasowania pikseli oraz kolejności przyporządkowania sekwencji pikseli w obu stereo-obrazach, a także kryterium ciągłości mapy dysparycji. Opis matematyczny składowych energii sieci neuronowej określono w artykule. Ocenę zastosowania sieci neuronowej zdefiniowano jako różnicę pomiędzy pomiarami głębi z wykorzystaniem sieci neuronowej oraz bez jej zastosowania. Do oceny zaproponowanego rozwiązania przeprowadzono pomiary z wykorzystaniem mobilnego stanowiska stereowizyjnego, które porównano z pomiarami statycznymi z wykorzystaniem skanowania laserowego w zdefiniowanych przekrojach pomiarowych drogi. Zastosowana sieć neuronowa typu Hopfielda pozwoliła na zwiększenie liczby pikseli poprawnie przypisanych w procesie dopasowania pikseli stereo-obrazów. Zwiększyło to tym samym precyzję odwzorowania nawierzchni drogowej, tym samym oceny jest stanu.

EN

The paper presents an attempt to use Hopfield neural network in process of matching pixels of stereo-images recorded during road pavement diagnosis by vehicle equipped with stereo vision test-bench, developed by author of the paper. The paper describes the limitations of stereo vision solutions and presents the problem of ambiguity matching for the areas of equal intensity. The problems of obscuration objects in the camera view and continuity constraints of resulting from a sudden change in intensity function of images are presented. Typical limitations associated with the techniques of processing and recognition of digital images are highlighted. During the implementation of the neural network the constituents of energy function (criteria of optimization) were defined, what allow for optimum matching pixels of stereo-images, thus the mapping process of road surface is proper. To solve multi criteria optimization problem, the followings criteria were proposed: maximize and uniqueness of matching pixels and order assignment sequence of pixels in both stereo-images, as well as continuity of disparity map. The mathematical description of energy constituents of the neural network was determined in the article. Evaluation of the application neural network was defined as difference between the depth measurements using neural network and without its use. For evaluation of the proposed solution, the measurements using a stereo vision test-bench were performed and were compared with measurements using a laser scanning in selected measurement sections on road. Used of Hopfield neural network allows to increase the number of pixels correctly assigned on stereo-images in the matching process what increase the mapping precision of the road surface, thereby evaluation of road conditions.

Słowa kluczowe

PL

nawierzchnia drogowa; sieć neuronowa Hopfielda; inspekcja; stereowizja; diagnostyka; stan techniczny; przetwarzanie obrazów; rozpoznawanie obrazów

EN

road pavement; Hopfield neural network; inspection; stereovision; diagnostics; technical condition; image processing; pattern recognition

• Wydawca: Oficyna Wydawnicza Politechniki Rzeszowskiej
• Czasopismo: Czasopismo Inżynierii Lądowej, Środowiska i Architektury / Journal of Civil Engineering, Environment and Architecture
• Rocznik: 2016
• Tom: z. 63, nr 1/II
• Strony: 323--330
• Opis fizyczny: Bibliogr. 15 poz., il., tab.

Twórcy

autor

Staniek M.

• Wydział Transportu, Politechnika Śląska

Bibliografia

• [1] Batchelor B.G., Waltz F.M.: Intelligent machine vision: techniques, implementations and applications, 2001, Springer-Verlag UK.
• [2] Cichocki A., Unbehauen R.: Neural networks for optimization and signal processing, Willey 1993, John Wiley & Sons, Chichester.
• [3] Cyganek B., Siebert P., An Introduction to 3D Computer Vision Techniques and Algorithms, 2009, John Wiley & Sons, Chichester.
• [4] Grace A.E., Pycock D., Tillotson H.T., Snaith M.S., Active shape from stereo for highway inspection, Machine Vision and Applications, 2000, pp. 7–15.
• [5] Mańdziuk J.: Sieci neuronowe typu Hopfielda. Teoria i przykłady zastosowań, Akademicka Oficyna Wydawnicza EXIT, 2000, Warszawa.
• [6] Scharstein B., View Synthesis Using Stereo Vision, Lecture Notes in Computer Science 1582, 1999, Springer-Verlag, Berlin.
• [7] Soatto M. S., Kosecka J., Sastry S.S., An invitation to 3-D vision: from images to geometric models, 2004, Springer-Verlag, New York.
• [8] Staniek M., Pavement conditions diagnosis by means of stereoscopy, Proc. of the 58th Conference of Scientific Problems of Civil Engineering, 2012, pp. 358-359.
• [9] Staniek M.: Diagnostyka stanu nawierzchni drogowej z wykorzystaniem pomiarów stereoskopowych. Zeszyty Naukowe Politechniki Rzeszowskiej, nr 283 z. 59, nr 3, 2012, pp. 339-346.
• [10] Staniek M.: Ocena dokładności stereowizyjnej metody inspekcji dróg. Budownictwo i architektura. vol. 13 nr 4, 2014, s. 259-266.
• [11] Tadeusiewicz R., Korbicz J., Rutkowski L., Duch W., Sieci neuronowe w inżynierii biomedycznej. Tom 9, ISBN 978-83-7837-024-6, Akademicka Oficyna Wydawnicza EXIT, 2013, Warszawa.
• [12] Tsai C.T., Wang J.H., Sun Y.N.: Livet stereoscopic visualization by using Hopfield neural nets, Neural Computing and Applications, Vol. 7(3), 1998, pp. 229-237.
• [13] Vilaça J. L., Fonseca J. C., Pinho A. M., Non-contact 3D acquisition system based on stereo vision and laser triangulation, Machine Vision and Applications 21(3), 2010, pp. 341-350.
• [14] Wang K. C. P., Gong W., Tracy T., Nguyen V., Automated survey of pavement distress based on 2D and 3D laser images, MBTC DOT 3023 –Grant, 2011, Transportation Research Board.
• [15] Zarządzenie nr 34 Generalnego Dyrektora Dróg Krajowych i Autostrad z dnia 30 kwietnia 2015 r. w sprawie diagnostyki stanu nawierzchni i jej elementów.

Uwagi

Opracowanie ze środków MNiSW w ramach umowy 812/P-DUN/2016 na działalność upowszechniającą naukę.