Wyniki wyszukiwania - BazTech

1

Application of deformable grids and hidden Markov models for isolated word recognition from facial image sequences of a speaking person

Nowak H.

Zeszyty Naukowe. Elektryka / Politechnika Łódzka

|

2008

|

z. 115

87-93

EN

The paper reports a method of word recognition using visual information only derived from a video speech recording. Combination of the discriminative deformable grid approach to individual frame analysis with the Hidden Markov Model technique, applied to a sequence analysis, is proposed to solve the lip-reading problem. The main research objective was to develop the deformable grid construction method and to extract the visual speech characteristics from the mouth images that could be used in a speech recognition. The visual speech recognition system has been described. Similarly, the method of verification with isolated phones and digits recognition experiments has been presented.

PL

Celem badań było opracowanie metody rozpoznawania słów na podstawie sekwencji obrazów twarzy z zarejestrowaną wypowiedzią. Do rozwiązania tak postawionego zadania zaproponowano koncepcję połączenia metody dyskryminacyjnej siatki deformowalnej do analizy pojedynczych klatek video oraz Niejawnych Modeli Markova (HMM) do analizy sekwencji. Głównym przedmiotem badań było opracowanie metody projektowania siatki deformowalnej i ekstrakcji charakterystyk wizualnych mowy na podstawie obrazów ust. Siatka deformowalna jest abstrakcyjną strukturą złożoną z elastycznie połączonych węzłów, które przechowują wartości lokalnej cechy obrazu. Odpowiednio skonstruowana siatka jest wykorzystywana do ekstrakcji deskryptora obrazu ust w procesie jej iteracyjnego dopasowania do obrazu. W przedstawionym systemie zaimplementowano procedury lokalizacji twarzy i ust oraz analizy sekwencji. W pierwszym kroku przetwarzania, siatka deformowalna jest wykorzystana do obliczenia deskryptora obrazu ust dla każdej klatki sekwencji. Uzyskane dane są następnie kodowane i analizowane za pomocą HMM. Podsumowując, zaproponowaną metodę rozpoznawania słów w oparciu jedynie o informację obrazową przetestowano przy użyciu eksperymentów z rozpoznawaniem pojedynczych głosek oraz wypowiadanych cyfr. Metoda może służyć rozpoznawaniu słów z większego słownika lub w systemach rozpoznawania na podstawie obrazu i dźwięku.

2

Application of cellular neural networks and deformable models to object recognition

Korbiel P.

Zeszyty Naukowe. Elektryka / Politechnika Łódzka

|

2007

|

z. 111

65-72

EN

The following paper presents an idea of deformable grid object-recognition paradigm implementation within a framework of Cellular Neural Network Universal Machine (CNN-UM). A method for parallel representation of deformable grid, as well as a method for parallel modelling of grid matching process has been proposed. The proposed object recognition method has been verified by means of computer simulations and experimentally by using actual hardware CNN-UM implementations. The main advantage of the method is a fast realisation of the recognition task.

PL

Podstawowym celem pracy było wykazanie możliwości efektywnej implementacji metody rozpoznawania obrazów, bazującej na wykorzystaniu siatek deformowalnych, w strukturze równoległego, macierzowego procesora obrazu, jaki stanowi uniwersalna sieć neuronowa komórkowa (USNK). W wyniku przeprowadzonych badań opracowano sposób reprezentacji deformowalnej siatki dostosowany do architektury procesorów USNK. Opracowana została metoda równoległego modelowania mechanizmów decydujących o przemieszczaniu węzłów siatki deformowalnej w procesie analizy obrazu. Opracowany w wyniku badań algorytm rozpoznawania został pomyślnie zweryfikowany w drodze symulacji komputerowych. Zweryfikowana została także możliwość realizacji opracowanego algorytmu przy użyciu współczesnych platform sprzętowych zbudowanych w oparciu o strukturę uniwersalnej sieci neuronowej komórkowej. Sformułowana w wyniku przeprowadzonych badań metoda pozwala na istotne poszerzenie możliwości funkcjonalnych współczesnych układów inteligentnych sensorów informacji wizyjnej, pozwalając na realizację złożonej analizy obrazu już na poziomie przetwarzania wstępnego. W konsekwencji, zaproponowane rozwiązanie pozwala na znaczące zwiększenie efektywności pracy szerokiej klasy systemów automatycznego monitorowania i nadzoru, korzystających z rozproszonych źródeł informacji wizyjnej.

3

Lip-reading with discriminative deformable models

Nowak H.

Machine Graphics and Vision

|

2006

|

Vol. 15, No. 3/4

567-575

EN

The following paper describes a novel lip-reading method developed for the purpose of isolated word recognition. The method is based on a concept of a discriminative deformable model, which represents an image analysis method derived from the deformable grid paradigm. The discriminative deformable model is used to characterize the lip shape at each frame of the video sequence. The information extracted from the consecutive frames is next analyzed using the Hidden Markov Models. The proposed visual speech recognition method is tested using the Polish digits recognition task.