Robust deepfake detection using Long Short-Term Memory networks for video authentication

• Autorzy: Surapaneni Ravi Kishan , Syed Hameed , Kakarala Harshitha , Yaragudipati Venkata Sai Srikar

Identyfikatory

DOI

10.35784/iapgos.6777

Warianty tytułu

PL

Skuteczne wykrywanie deepfake'ów przy użyciu sieci Long Short-Term Memory do autentykacji wideo

• Języki publikacji: EN

Abstrakty

EN

Developments achieved in recent years have propelled techniques for generating and manipulating multimedia content to attain an exceptionally high degree of realism. According toa survey, 25 percent of the videos viewers watch are fake. The increasingly blurred distinction between authentic and synthetic media presents significant security concerns, with the potential for exploitation in various domains. These threats encompass the manipulation of public opinion during electoral processes, perpetration of fraudulent activities, dissemination of disinformation to discredit individuals or entities, and the facilitation of blackmail schemes. Detecting fakes is tricky and difficult for viewers who are watching them, with studies showing that over 70 percent struggle to identify them accurately. To counter this issue, we envision this project whose primary goal is to construct a model that is capable of distinguishing between deepfake and authentic videos. Our proposed model operates at the video level, analyzing entire videos at once to provide a comprehensive assessment. The dataset utilized for training and evaluation is sourced from repositories such as DFDC, FaceForensics++ and Celeb-DF. The dataset sourced from DFDC and Celeb-Df are converted into frames from videos, in this architecture first face recognition tool is used for detecting the faces, followed by ResNext for feature extraction and then LSTM is used to classify the videos.

PL

W ostatnich latach techniki generowania i manipulowania treściami multimedialnymi osiągnęły wyjątkowo wysoki stopień realizmu. Według badań, 25 procent wideo oglądanych przez widzów jest fałszywych. Coraz bardziej zacierająca się różnica między autentycznymi a syntetycznymi mediami stwarza poważne obawy dotyczące bezpieczeństwa, z możliwością wykorzystania w różnych dziedzinach. Zagrożenia te obejmują manipulowanie opinią publiczną podczas procesów wyborczych, popełnianie oszustw, rozpowszechnianie dezinformacji w celu zdyskredytowania osób lub podmiotów oraz ułatwianie szantażu. Wykrywanie fałszywych wideo jest trudne, a badania pokazują, że ponad 70 procent widzów ma trudności z ich dokładną identyfikacją. Aby przeciwdziałać temu problemowi, opracowaliśmy niniejszy projekt, którego głównym celem jest skonstruowanie modelu zdolnego do odróżniania deepfake’ów od autentycznych informacji wideo. Proponowany model działa na poziomie wideo, analizując całych wideo jednocześnie, zapewnić ich kompleksową ocenę. Zbiór danych wykorzystany do szkolenia i oceny pochodzi z repozytoriów takich jak DFDC, FaceForensics++ i Celeb-DF. Zbiory danych pochodzące z DFDC i Celeb-Df są konwertowane na klatki; w tej architekturze pierwsze narzędzie do rozpoznawania twarzy jest używane do ich wykrywania, następnie ResNext do ekstrakcji cech, a LSTM jest używany do klasyfikacji wideo.

Słowa kluczowe

EN

deepfake detection; deep fake video; feature recognition; deep learning; ResNext; Long Short-Term Memory

PL

wykrywanie deepfake'ów; fałszywe wideo; rozpoznawanie cech; głębokie uczenie; ResNext; Long Short-Term Memory

• Wydawca: Wydawnictwo Politechniki Lubelskiej
• Czasopismo: Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska
• Rocznik: 2025
• Tom: T. 15, nr 1
• Strony: 105--108
• Opis fizyczny: Bibliogr. 18 poz., rys., wykr.

Twórcy

autor

Surapaneni Ravi Kishan

• Velagapudi Ramakrishna Siddhartha Engineering College, Department of Computer Science and Engineering, Vijayawada, India

• https://orcid.org/0000-0001-5145-2574

autor

Syed Hameed

• Velagapudi Ramakrishna Siddhartha Engineering College, Department of Computer Science and Engineering, Vijayawada, India

• https://orcid.org/0009-0009-7979-1864

autor

Kakarala Harshitha

• Velagapudi Ramakrishna Siddhartha Engineering College, Department of Computer Science and Engineering, Vijayawada, India

• https://orcid.org/0009-0008-2320-3560

autor

Yaragudipati Venkata Sai Srikar

• Velagapudi Ramakrishna Siddhartha Engineering College, Department of Computer Science and Engineering, Vijayawada, India

• https://orcid.org/0009-0005-5814-0115

Bibliografia

• [1] Bonettini N. et al.: Video face manipulation detection through ensemble of cnns. 25th international conference on pattern recognition (ICPR). IEEE, 2021.
• [2] Cozzolino D. et al.: Id-reveal: Identity-aware deepfake video detection. IEEE/CVF International Conference on Computer Vision, 2021.
• [3] Deng L., Suo H., Li D.: Deepfake Video Detection Based on EfficientNet‐V2 Network. Computational Intelligence and Neuroscience, 2022, 3441549.
• [4] Gu Z. et al.: Spatiotemporal inconsistency learning for deepfake video detection. 29th ACM international conference on multimedia, 2021.
• [5] Ismail A. et al.: A new deep learning-based methodology for video deepfake detection using XGBoost. Sensors 21(16), 2021, 5413.
• [6] Jung T., Kim S., Kim K.: Deepvision: Deepfakes detection using human eye blinking pattern. IEEE Access 8, 2020, 83144–83154.
• [7] Khan S. A., Dai H.: Video transformer for deepfake detection with incremental learning. 29th ACM International Conference on Multimedia, 2021.
• [8] Kumar M., Sharma H. K.: A GAN-based model of deepfake detection in social media. Procedia Computer Science 218, 2023, 2153–2162.
• [9] Li X. et al.: Sharp multiple instance learning for deepfake video detection. 28th ACM International Conference on Multimedia, 2020.
• [10] Malik M. H. et al.: Frequency-based deep-fake video detection using deep learning methods. Journal of Computing & Biomedical Informatics 4(02), 2023, 41–48.
• [11] Mittal T. et al.: Emotions don't lie: An audio-visual deepfake detection method using affective cues. 28th ACM International Conference on Multimedia, 2020.
• [12] Patel Y. et al.: Deepfake generation and detection: Case study and challenges. IEEE Access 11, 2023, 143296–143323.
• [13] Tran V.-N. et al.: Generalization of forgery detection with meta deepfake detection model. IEEE Access 11, 2022, 535–546.
• [14] Vashishtha S. et al.: Optifake: optical flow extraction for deepfake detection using ensemble learning technique. Multimedia Tools and Applications 83(32), 2024, 77509–77527
• [15] Wodajo D., Atnafu S.: Deepfake video detection using convolutional vision transformer. arXiv 2102.11126, 2021.
• [16] Zhang L. et al.: Unsupervised learning-based framework for deepfake video detection. IEEE Transactions on Multimedia 25, 2022, 4785–4799.
• [17] Zhao C. et al.: ISTVT: interpretable spatial-temporal video transformer for deepfake detection. IEEE Transactions on Information Forensics and Security 18, 2023, 1335–1348.
• [18] Zi B. et al.: Wilddeepfake: A challenging real-world dataset for deepfake detection. 28th ACM International Conference on Multimedia, 2020.