Propozycja wykorzystania uczenia przez wzmocnienie w celu optymalizowania podejmowania decyzji w zakresie przeciwdziałania praniu pieniędzy oraz finansowania terroryzmu. Część 1

• Autorzy: Kędzierski Maciej Aleksander

Identyfikatory

DOI

10.37055/nsz/183867

Warianty tytułu

EN

A proposal to use reinforcement learning to optimize decision-making in the field of counteracting money laundering and terrorist financing. Part 1

• Języki publikacji: PL

Abstrakty

PL

Uczenie przez wzmocnienie stanowi propozycję do rozwiązywania problemów identyfikacji i weryfikacji klientów instytucji obowiązanych, którzy mogą być powiązani z procederem prania pieniędzy czy finansowaniem terroryzmu. Może to mieć zastosowanie zarówno na poziomie czynności weryfikacyjnych, jak i na poziomie monitoringu klienta danej instytucji. Model uczenia przez wzmocnienie pozwala na uzyskiwanie rezultatów akcji agenta jako nie tylko konsekwencji jego uczenia, lecz także podejmowania własnych decyzji zmierzających do uzyskania jak największej nagrody. Wsparciem tego typu działań jest dostarczanie danych technicznych, a także współpraca z czynnikiem ludzkim w ramach uczenia się ze wzmocnieniem na podstawie informacji zwrotnej od ludzi. Oprócz samej idei włączenia tego typu modelu myślenia maszynowego na poziom analityki instytucji obowiązanej pozostaje także uzyskiwanie za jego pośrednictwem rezultatów w postaci predykcyjnego wykrywania zagrożenia związanego z możliwością legalizowania środków przestępczych i inwestowania ich w działalność terrorystyczną.

EN

Reinforcement learning is a proposal for solving the problems of identifying and verifying customers of mandatory institutions who may be connected with money laundering or terrorist financing. Its application can take place both at the level of verification activities but also at the level of monitoring of the institution’s client. The reinforcement learning model allows the results of an agent’s actions to be obtained as not only a consequence of his learning, but also of his own decision-making aimed at obtaining the greatest possible reward. Supporting this type of action is not only the provision of technical data but also the collaboration with the human agent in Reinforcement Learning from Human Feedback. In addition to the very idea of incorporating this type of machine thinking model into the analytical level of the obligated institution, it remains to obtain results through it in the form of predictive threat detection related to the possibility of legalizing criminal funds and investing them in terrorist activities.

Słowa kluczowe

PL

uczenie przez wzmacnianie; pranie pieniędzy; model Markowa; agent; zbiór uczący; sprzężenie zwrotne

EN

reinforcement learning; money laundering; Markov model; agent; training set; feedback

• Wydawca: Wojskowa Akademia Techniczna im. Jarosława Dąbrowskiego
• Czasopismo: Nowoczesne Systemy Zarządzania
• Rocznik: 2023
• Tom: T. 18, nr 3
• Strony: 45--84
• Opis fizyczny: Bibliogr. 32 poz., rys.

Twórcy

autor

Kędzierski Maciej Aleksander

• https://orcid.org/0000-0003-3074-1355

Bibliografia

• [1] Alexander, J., 2018. Learning from humans: what is inverse reinforcement learning? The Gradient, https://thegradient.pub/learning-from-humans-what-is-inverse-reinforcement-learning/ (dostęp: 10.09.2023).
• [2] Bajaj, P., 2023. Reinforcement learning, https://www.geeksforgeeks.org/what-is-reinforcement-learning/ (dostęp: 10.09.2023).
• [3] Canhoto, A. I., 2021. Leveraging machine learning in the global fight against money laundering and terrorism financing: An affordances perspective, Journal of Business Research, nr 131.
• [4] DRF, 2023. What are the best practices for designing reward functions in reinforcement learning for robotics?, https://www.linkedin.com/advice/0/what-best-practices-designing-reward-functions (dostęp: 5.09.2023).
• [5] Epsilon-greedy algorithm, 2023. What are the benefits and drawbacks of using a decaying epsilon strategy in epsilon-greedy algorithm?, https://www.linkedin.com/advice/0/what-benefits-drawbacks-using-decaying-epsilon (dostęp: 12.09.2023).
• [6] Figielska, E., 2011. Ewolucyjne metody uczenia ukrytych modeli Markowa, Zeszyty Naukowe Warszawskiej Wyższej Szkoły Informatyki, nr 5.
• [7] Foffano, D., Russo, A., Proutiere, A., 2023. Conformal Off-Policy Evaluation in Markov Decision Processes, https://arxiv.org/pdf/2304.02574.pdf (dostęp: 12.09.2023).
• [8] Jaśkowiak, W., 2016. Uczenie ze wzmocnieniem na podstawie: AIMA ch21, http://www.cs.put.poznan.pl/wjaskowski/pub/teaching/wmio/lectures/Uczenie_sie_ze_Wzmocnieniem.pdf (dostęp: 10.09.2023).
• [9] Kaduri, O., 2021. From A* to MARL (Part 5-Multi-Agent Reinforcement Learning), https://omrikaduri.github.io/2021/08/07/Part-5-MARL.html (dostęp: 10.09.2023).
• [10] Kasianova, K., 2020. Detecting money laundering using hidden Markov model, https://dspace.ut.ee/bitstream/handle/10062/68089/kasianova_kseniia.pdf?sequence=1&isAllowed=y (dostęp: 15.09.2023).
• [11] Kerner, S. M., 2023. Definition Q-learning, https://www.techtarget.com/searchenterpriseai/definition/Q-learning (dostęp: 12.09.2023).
• [12] Lepsze rozumienie klientów dzięki zaawansowanej analityce, 2023. Persooa, https://www.persooa.com/oferta/zaawansowana-analityka/ (dostęp: 17.09.2023).
• [13] Łakomska, D., 2023. Algorytm epsilona-chciwego: prosta i wydajna metoda eksploracji i eksploatacji, https://mundurowe.info/wiadomosci/algorytm-epsilona-chciwego-prosta-i-wydajna-metodaeksploracji-i-eksploatacji/28588/ (dostęp: 12.09.2023).
• [14] Mignon, A. S., Rocha, L. R. A., 2017. An Adaptive Implementation of ε-Greedy in Reinforcement Learning, Procedia Computer Science, vol. 109.
• [15] Miśtak, S., 2023. Podział modeli uczenia maszynowego wraz z przykładami zastosowania, https://www.gov.pl/web/popcwsparcie/podzial-modeli-uczenia-maszynowego-wraz-z-przykladamizastosowania (dostęp: 18.08.2023).
• [16] Obwieszczenie MF - obwieszczenie Ministra Finansów z dnia 14 lipca 2023 r. w sprawie ogłoszenia jednolitego tekstu rozporządzenia Ministra Finansów, Funduszy i Polityki Regionalnej w sprawie wykazu krajowych stanowisk i funkcji publicznych będących eksponowanymi stanowiskami politycznymi (Dz.U. 2023 poz. 1632).
• [17] Ouyang, L., Wu, J., Jiang, X. et al., 2022. Training language models to follow instructions with human feedback, https://cdn.openai.com/papers/Training_language_models_to_follow_instructions_with_human_feedback.pdf (dostęp: 18.08.2023).
• [18] Paluszyński, W., 2007 (wykonał J. Kędzierski). Algorytm uczenia ze wzmocnieniem dla małego robota mobilnego klasy (2,0). Metody i algorytmy sztucznej inteligencji, https://kcir.pwr.edu.pl/~witold/aiarr/2007_projekty/roboty2/ (dostęp: 4.09.2023).
• [19] Paluszyński, W., 2012. Uczenie przez wzmocnienie, https://kcir.pwr.edu.pl/~witold/ai/ml_rl_s.pdf (dostęp: 10.08.2023).
• [20] Rak, A., 2013. Zastosowanie algorytmów uczenia przez wzmacnianie w układzie wyznaczania trajektorii zadanej manewrującego statku, Zeszyty Naukowe Akademii Morskiej w Gdyni, nr 78.
• [21] Rozporządzenie MFFP - rozporządzenie Ministra Finansów, Funduszy i Polityki Regionalnej z dnia 27 lipca 2021 r. w sprawie wykazu krajowych stanowisk i funkcji publicznych będących eksponowanymi stanowiskami politycznymi (Dz.U. 2021 poz. 1381).
• [22] Simonini, T., 2018. An introduction to Reinforcement Learning, https://www.freecodecamp.org/news/an-introduction-to-reinforcement-learning-4339519de419/ (dostęp: 15.08.2023).
• [23] Szostek, D., Bar, G., Prabucki, R. T., Nowakowski, M., 2022. Zastosowanie sztucznej inteligencji w bankowości - szanse oraz zagrożenia. Analiza prawno-regulacyjna wpływu technologii uczenia maszynowego i pokrewnych na obowiązki sektora bankowego z zakresu zapewnienia zgodności (compliance) oraz zarządzania ryzykiem, https://us.edu.pl/wp-content/uploads/pliki/PAB_WIB_Zastosowanie_sztucznej_inteligencji_w_bankowosci_Szostek.pdf (dostęp: 2.08.2023).
• [24] Sztuczna inteligencja/SI Moduł 13, 2023. Uczenie się ze wzmocnieniem, https://wazniak.mimuw.edu.pl/index.php?title=Sztuczna_inteligencja/SI_Moduł_13_-_Uczenie_się_ze_wzmocnieniem (dostęp: 2.09.2023).
• [25] Szymczyk, K., 2022. Modern Reinforcement Learning approach and its application, https://sii.pl/blog/en/modern-reinforcement-learning-approach-and-its-applications/?category=hard-development&tag=embedded-en (dostęp: 12.07.2023).
• [26] Tashmit, 2023. Epsilon Greedy Algorithm, https://www.codingninjas.com/studio/library/epsilongreedy-algorithm (dostęp: 5.09.2023).
• [27] Ustawa o p.p.p.f.t. - ustawa z dnia 1 marca 2018 r. o przeciwdziałaniu praniu pieniędzy oraz finansowaniu terroryzmu (Dz.U. 2023 poz. 1124).
• [28] Ustawa o SInF - ustawa z dnia 1 grudnia 2022 r. o Systemie Informacji Finansowej (Dz.U. 2023 poz. 180).
• [29] van Keulen, I., 2021. Hiding Money Laundering with an Intelligent Multi-Agent System Simulation, Master’s Thesis Artificial Intelligence Department of Artificial Intelligence University of Groningen, The Netherlands, https://fse.studenttheses.ub.rug.nl/25680/1/Master_thesis_Ingeborg_van_Keulen.pdf (dostęp: 9.09.2023).
• [30] Wiatrowska, I., Cieńciała, A., 2020. Q-Learning i SARSA - bez ryzyka nie ma zabawy, http://main.p.lodz.pl/news.php?id=124 (dostęp: 12.09.2023).
• [31] Yu, B., Malan, D.J., 2023. CS50’s Introduction to Artificial Intelligence with Python, https://cs50.harvard.edu/ai/2020/notes/4/ (dostęp: 10.09.2023).
• [32] Zhou, Z., Liu, G., Tang, Y., 2023. Multi-Agent Reinforcement Learning: Methods, Applications, Visionary Prospects, and Challenges, Computer Science, vol. 1, nr 1.