Wyniki wyszukiwania - BazTech

1

Audio-Video Analysis Method of Public Speaking Videos to Detect Deepfake Threat

Wolański Robert, Jędrasiak Karol

Safety & Fire Technology

|

2023

|

Vol. 62, iss. 2

172--180

EN

Aim: The purpose of the article is to present the hypothesis that the use of discrepancies in audiovisual materials can significantly increase the effectiveness of detecting various types of deepfake and related threats. In order to verify this hypothesis, the authors proposed a new method that reveals inconsistencies in both multiple modalities simultaneously and within individual modalities separately, enabling them to effectively distinguish between authentic and altered public speaking videos. Project and methods: The proposed approach is to integrate audio and visual signals in a so-called fine-grained manner, and then carry out binary classification processes based on calculated adjustments to the classification results of each modality. The method has been tested using various network architectures, in particular Capsule networks – for deep anomaly detection and Swin Transformer – for image classification. Pre-processing included frame extraction and face detection using the MTCNN algorithm, as well as conversion of audio to mel spectrograms to better reflect human auditory perception. The proposed technique was tested on multimodal deepfake datasets, namely FakeAVCeleb and TMC, along with a custom dataset containing 4,700 recordings. The method has shown high performance in identifying deepfake threats in various test scenarios. Results: The method proposed by the authors achieved better AUC and accuracy compared to other reference methods, confirming its effectiveness in the analysis of multimodal artefacts. The test results confirm that it is effective in detecting modified videos in a variety of test scenarios which can be considered an advance over existing deepfake detection techniques. The results highlight the adaptability of the method in various architectures of feature extraction networks. Conclusions: The presented method of audiovisual deepfake detection uses fine inconsistencies of multimodal features to distinguish whether the material is authentic or synthetic. It is distinguished by its ability to point out inconsistencies in different types of deepfakes and, within each individual modality, can effectively distinguish authentic content from manipulated counterparts. The adaptability has been confirmed by the successful application of the method in various feature extraction network architectures. Moreover, its effectiveness has been proven in rigorous tests on two different audiovisual deepfake datasets.

PL

Cel: Celem artykułu jest przedstawienie hipotezy, że wykorzystanie rozbieżności w materiałach audiowizualnych może znacznie zwiększyć skuteczność wykrywania różnych typów deepfake i związanych z nimi zagrożeń. W celu weryfikacji tej hipotezy autorzy zaproponowali nową metodę, która pozwala na ujawnienie niespójności zarówno w wielu modalnościach jednocześnie, jak i w obrębie poszczególnych modalności z osobna, umożliwiając skuteczne rozróżnienie autentycznych i zmienionych filmów z wystąpieniami publicznymi. Projekt i metody: Zaproponowane podejście polega na integracji sygnałów dźwiękowych i wizualnych w tzw. drobnoziarnisty sposób, a następnie przeprowadzeniu procesów klasyfikacji binarnej na podstawie obliczonych korekt wyników klasyfikacji każdej modalności. Metoda została przebadana z wykorzystaniem różnych architektur sieci, w szczególności sieci typu Capsule – do głębokiego wykrywania anomalii oraz Swin Transformer – do klasyfikacji obrazów. Przetwarzanie wstępne obejmowało ekstrakcję klatek i wykrywanie twarzy przy użyciu algorytmu MTCNN, a także konwersję audio na spektrogramy mel, aby lepiej odzwierciedlić ludzką percepcję słuchową. Zaproponowana technika została przetestowana na multimodalnych zbiorach danych deepfake, a mianowicie FakeAVCeleb i TMC, wraz z niestandardowym zbiorem zawierającym 4700 nagrań. Metoda wykazała wysoką skuteczność w rozpoznawaniu zagrożeń deepfake w różnych scenariuszach testowych. Wyniki: Metoda zaproponowana przez autorów osiągnęła lepsze AUC i dokładność w porównaniu z innymi metodami referencyjnymi, potwierdzając swoją skuteczność w analizie artefaktów multimodalnych. Rezultaty badań potwierdzają, że skutecznie pozwala wykryć zmodyfikowane filmy w różnych scenariuszach testowych – co można uznać za postęp w porównaniu z istniejącymi technikami wykrywania deepfake'ów. Wyniki podkreślają zdolność adaptacji metody w różnych architekturach sieci ekstrakcji cech. Wnioski: Przedstawiona metoda audiowizualnego wykrywania deepfake'ów wykorzystuje drobne niespójności cech wielomodalnych do rozróżniania, czy materiał jest autentyczny czy syntetyczny. Wyróżnia się ona zdolnością do wskazywania niespójności w różnych typach deepfake'ów i w ramach każdej indywidualnej modalności potrafi skutecznie odróżniać autentyczne treści od zmanipulowanych odpowiedników. Możliwość adaptacji została potwierdzona przez udane zastosowanie omawianej metody w różnych architekturach sieci ekstrakcji cech. Ponadto jej skuteczność została udowodniona w rygorystycznych testach na dwóch różnych audiowizualnych zbiorach danych typu deepfake.

2

Specyfika komunikacji w środowisku wojskowym

Nowicka J.

Nowoczesne Systemy Zarządzania

|

2017

|

T. 12, nr 1

25--37

PL

Zasady komunikacji dotyczą każdego człowieka i w każdej dziedzinie jego życia znajdują zastosowanie. Autorka opracowania wskazuje na podobieństwo, podczas okolicznościowych wystąpień publicznych, stylu wypowiedzi żołnierzy ze stylem dziennikarskim czy naukowym, wskazując na wspólny oszczędny i konkretny profil wypowiedzi. Stawia ponadto tezę, że różnorodność stylu wypowiedzi kadry kierowniczej w wojsku cechuje głównie kod parajęzykowy (tzn. melodyka, ton, brzmienie głosu itp.) nie zaś zwięzłość, prostota oraz brak redundancji. Te, zdaniem autorki, cechują generalnie dzisiejsze społeczeństwo oparte na szybkim, obrazowym komunikowaniu się, obecnym np. w mediach, co wymusza używanie języka krótkiego, wręcz skrótowego. Zasada prostoty obowiązuje zatem w każdej specjalizacji publicznego użycia języka (prócz zastosowań literatury pięknej, aktorstwa i sztuki artystycznej) i tym samym nie może być zarezerwowana tylko dla środowiska armii. W opracowaniu poruszono kwestię wulgaryzmów i zasadności zgłębiania zasad sztuki komunikacji wśród kadry kierowniczej wojska. Skupiono się zatem na właściwościach szeroko rozumianych kompetencji komunikacyjnych związanych z ekspozycją publiczną oficera.

EN

Principles of the communication concern every man and in every field of his life are finding application. The author of the study shows, during occasional public appearances, the statement of soldiers the style to resemblance with the journalistic style whether scientific, pointing at the shared economical and specific profile of the statement. Moreover a paralinguistic code is putting the thesis that the diversity of the style in the army is characterizing statements of the senior staff mainly (i.e. melodic pattern, tone, sound of the voice and the like) not whereas the conciseness, the simplicity and the lack of the redundancy. These, in opinion of the author, are characterizing the today's society based on fast, vivid announcing generally oneself, for those present e.g. in the media what is forcing into using the short, simply brief tongue. And so the principle of the simplicity is applicable in every specialization of public using the tongue (apart from applications of the literature, the acting and the art) and in the process cannot be booked only for the environment of the army. In the study an issue of vulgarisms and legitimacies of exploring principles of the art of the communication amongst the senior staff of the army were addressed. And so they concentrated on the properties of widely understood communications competence associated with the public exposition of the officer.

3

Jakość w wystąpieniach publicznych

Kłos Z.

Problemy Jakości

|

2010

|

R. 42, nr 9

33-36

EN

In the paper there are presented important issues connected with gaining the high quality in public presentations as well as chosen aspects of innovations, specially forms of presentation.