Zliczanie szybkich obiektów z wykorzystaniem kamery zdarzeniowej

• Autorzy: Bialik Kamil , Kowalczyk Marcin , Błachut Krzysztof , Kryjak Tomasz

Identyfikatory

DOI

10.14313/PAR_247/79

Warianty tytułu

EN

Fast Object Counting with an Event Camera

• Języki publikacji: PL

Abstrakty

PL

W pracy zaproponowano wykorzystanie kamery zdarzeniowej jako komponentu systemu wizyjnego umożliwiającego zliczanie szybko przemieszczających się obiektów - w tym przypadku spadających ziaren kukurydzy. Kamery te przesyłają informacje o zmianach jasności poszczególnych pikseli i charakteryzują się niską latencją, brakiem rozmycia związanego z ruchem, poprawnym działaniem w różnych warunkach oświetleniowych, a także bardzo niskim zużyciem energii. Zaproponowany algorytm zliczający analizuje zdarzenia w czasie rzeczywistym. Działanie rozwiązania zademonstrowano na stanowisku składającym się ze zsypu z podajnikiem wibracyjnym, który umożliwiał regulację liczby spadających ziaren. Celem układu sterowania z regulatorem PID było utrzymanie stałej średniej liczby spadających obiektów. Zaproponowane rozwiązanie poddane zostało szeregowi testów, mających na celu określenie poprawności działania opracowanej metody. Na ich podstawie można potwierdzić słuszność użycia kamery zdarzeniowej do liczenia małych, szybko poruszających się obiektów, i związanego z tym szerokiego spektrum potencjalnych zastosowań przemysłowych.

EN

This paper proposes the use of an event camera as a component of a vision system that enables counting of fast-moving objects - in this case, falling corn grains. These cameras transmit, in an asynchronous manner, information about the change in brightness of individual pixels and are characterised by low latency, no motion blur, and correct operation in different lighting conditions, as well as very low power consumption. The proposed counting algorithm processes events in real time. The operation of the solution was demonstrated on a stand consisting of a chute with a vibrating feeder, which allowed the number of falling grains to be adjusted. The objective of the control system with a PID controller was to maintain a constant average number of falling objects. The proposed solution was subjected to a series of tests to determine the correctness of the developed method operation. On their basis, the validity of using an event camera to count small, fast-moving objects and the associated wide range of potential industrial applications can be confirmed.

Słowa kluczowe

PL

kamera zdarzeniowa; zliczanie szybkich obiektów; regulacja przepływu; porcjowanie; regulator PID

EN

event camera; dynamic vision sensor; high-speed object counting; item flow regulation; portioning; PID controller

• Wydawca: Sieć Badawcza Łukasiewicz - Przemysłowy Instytut Automatyki i Pomiarów PIAP
• Czasopismo: Pomiary Automatyka Robotyka
• Rocznik: 2023
• Tom: R. 27, nr 1
• Strony: 79--84
• Opis fizyczny: Bibliogr. 12 poz., rys., tab.

Twórcy

autor

Bialik Kamil

• Akademia Górniczo-Hutnicza im. S. Staszica, Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej, Laboratorium Systemów Wizyjnych, Zespół Wbudowanych Systemów Wizyjnych, al. Mickiewicza 30, 30-059 Kraków

• https://orcid.org/0000-0001-9524-3395

autor

Kowalczyk Marcin

• Akademia Górniczo-Hutnicza im. S. Staszica, Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej, Laboratorium Systemów Wizyjnych, Zespół Wbudowanych Systemów Wizyjnych, al. Mickiewicza 30, 30-059 Kraków

• https://orcid.org/0000-0002-4257-8877

autor

Błachut Krzysztof

• Akademia Górniczo-Hutnicza im. S. Staszica, Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej, Laboratorium Systemów Wizyjnych, Zespół Wbudowanych Systemów Wizyjnych, al. Mickiewicza 30, 30-059 Kraków

• https://orcid.org/0000-0002-1071-335X

autor

Kryjak Tomasz

• Akademia Górniczo-Hutnicza im. S. Staszica, Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej, Laboratorium Systemów Wizyjnych, Zespół Wbudowanych Systemów Wizyjnych, al. Mickiewicza 30, 30-059 Kraków

• https://orcid.org/0000-0001-6798-4444

Bibliografia

• 1. Gallego G., Delbrück T., Orchard G., Bartolozzi C., Taba B., Censi A., Leutenegger S., Davison A., Conradt J., Daniilidis K., Scaramuzza D., Event-Based Vision: A Survey. „IEEE Transactions on Pattern Analysis and Machine Intelligence”, Vol. 44, No. 1, 2022, 154-180, DOI: 10.1109/TPAMI.2020.3008413.
• 2. Lichtsteiner P., Posch C., Delbruck T., A 128 × 128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor, „IEEE Journal of Solid-State Circuits”, Vol. 43, No. 2, 2008, 566-576, DOI: 10.1109/JSSC.2007.914337.
• 3. Kim H., Leutenegger S., Davison A., RealTime 3D Reconstruction and 6-DoF Tracking with an Event Camera. „Computer Vision - ECCV”, 2016, 349-364.
• 4. Padala V., Basu A., Orchard G., A Noise Filtering Algorithm for Event-Based Asynchronous Change Detection Image Sensors on TrueNorth and Its Implementation on TrueNorth. „Frontiers in Neuroscience”. No. 12, 2018, DOI: 10.3389/fnins.2018.00118.
• 5. Lee S., Yang C., A real time object recognition and counting system for smart industrial camera sensor. „IEEE Sensors Journal”, Vol. 17, No. 8, 2017, 2516-2523, DOI: 10.1109/JSEN.2017.2671457.
• 6. Baygin M., Karakose M., Sarimaden A., Akin E., An image processing based object counting approach for machine vision application. „ArXiv Preprint„ ArXiv:1802.05911, 2018, DOI: 10.48550/arXiv.1802.05911.
• 7. Liu J., Na W., Fast moving object counting from video. 2017 International Symposium on Intelligent Signal Processing and Communication Systems (ISPACS), 2017, 337-340, DOI: 10.1109/ISPACS.2017.8266499.
• 8. Lee K., Tsai L., Hung P., Fast People Counting Using Sampled Motion Statistics. 2012 Eighth International Conference on Intelligent Information Hiding and Multimedia Signal Processing, 2012, 162-165, DOI: 10.1109/IIH-MSP.2012.45.
• 9. Saidon M., Mustafa W., Rajasalavam V., Khairunizam W., Automatic People Counting System Using Aerial Image Captured by Drone for Event Management. [In:] Intelligent Manufacturing and Mechatronics, 2021, 51-65, DOI: 10.1007/978-981-16-0866-7_4.
• 10. Liu C., Huynh D., Sun Y., Reynolds M., Atkinson S., A Vision-Based Pipeline for Vehicle Counting, Speed Estimation, and Classification. „IEEE Transactions on Intelligent Transportation Systems”, Vol. 22, No. 12, 2021, 7547-7560, DOI: 10.1109/TITS.2020.3004066.
• 11. Wu H., Wang Y., Ma H., Li B., Jin Y., Vision Based Real-time High-accuracy Automatic Counting with Applications for Smart Pharmacy. 40th Chinese Control Conference (CCC), 2021, 6429-6435, DOI: 10.23919/CCC52363.2021.9549691
• 12. Belbachir A., Schraml S., Brändle N., Real-time classification of pedestrians and cyclists for intelligent counting of non-motorized traffic. IEEE Computer Society Conference on Computer Vision and Pattern Recognition-Workshops, 2010, 45-50, DOI: 10.1109/CVPRW.2010.5543170.

Uwagi

1. Praca przedstawiona w niniejszym artykule została wsparta programem “Inicjatywa doskonałości - uczelnia badawcza” dla Akademii Górniczo-Hutniczej oraz częściowo wsparta projektem Narodowego Centrum Nauki nr 2021/41/N/ST6/03915 zatytułowanym “Akceleracja przetwarzania zdarzeniowych danych wizyjnych z wykorzystaniem heterogenicznych, reprogramowalnych układów obliczeniowych”.

2. Opracowanie rekordu ze środków MEiN, umowa nr SONP/SP/546092/2022 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2022-2023).