Rozkład wielkości kryształów nadzorowany przez agenta uczenia ze wzmocnieniem z wykorzystaniem czujnika tomografii hybrydowej w procesie krystalizacji

• Autorzy: Niderla, Konrad , Kłosowski, Grzegorz

Warianty tytułu

EN

Crystal size distribution supervised by a reinforcement learning agent using a tomography sensor during the crystallization process

• Języki publikacji: PL

Abstrakty

PL

W pracy opisano wykorzystanie uczenia ze wzmocnieniem w modelu Simulink do symulacji sterowania procesem krystalizacji. Przedstawiono również stanowisko akwizycji danych tomograficznych służące do sterowania rzeczywistym procesem krystalizacji zarządzanym agentem uczenia ze wzmocnieniem. Rekonstrukcja obrazu z systemu tomograficznego umożliwia agentowi uczenia ze wzmocnieniem uzyskanie dodatkowych danych w czasie rzeczywistym o stanie środowiska, co z kolei pozwoli kontrolerowi na prowadzenie procesu.

EN

This paper describes the use of reinforcement learning in the Simulink model to simulate the control of the crystallization process. A tomographic data acquisition workstation for controlling the actual crystallization process managed by a reinforcement learning agent is also presented. Reconstructing the image from the tomographic system allows the reinforcement learning agent to obtain additional real-time data about the state of the environment, which in turn will allow the controller to guide the process.

Słowa kluczowe

PL

uczenie ze wzmocnieniem; krystalizacja; Simulink; tomografia

EN

reinforcement learning; crystallization; Simulink; tomography

• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2023
• Tom: R. 99, nr 3
• Strony: 102--105
• Opis fizyczny: Bibliogr. 29 poz., rys., tab.

Twórcy

autor

Niderla, Konrad

• Centrum Badawczo Rozwojowe Netrix S.A. ul Związkowa 26, 20-148 Lublin, Wyższa Szkoła Ekonomii i Innowacji, ul. Projektowa 4, 20-209 Lublin,

autor

Kłosowski, Grzegorz

• Politechnika Lubelska, ul. Nadbystrzycka 38, 20-618 Lublin,

Bibliografia

• [1] A. S.Myerson, Handbook of Industrial Crystallization, Elsevier Science & Technology Books, 2001.
• [2] X.Y.Woo, Z.K.Nagy, R.B.H.Tan, R.D.Braatz, Adaptive Concentration Control of Cooling and Antisolvent Crystallization with Laser Backscattering Measurement, Crystal growth & design 9 (2009), No.1 182-191.
• [3] M.Fujiwara, Z.K.Nagy, J.W.Chew, R.D.Braatz, First-principles and direct design approaches for the control of pharmaceutical crystallization, Journal of process control, 15 (2005), 493-504.
• [4] Z.K.Nagy, M.Fujiwara, R.D.Braatz, Recent advances inthe modelling and control of cooling and antisolventcrystallization of pharmaceuticals, IFAC Symposium on Dynamics and Control 40 (2007), 29–38.
• [5] Z.K.Nagy, R.D.Braatz, Advances and New Directions in Crystallization Control, Annual reviews Further (2012).
• [6] Z.K.Nagy, E.Aamir, Systematic design of supersaturation controlled crystallization processes for shaping the crystalsize distribution using an analytical estimator, Chemical Engineering Science, 84 (2012), 656–670.
• [7] R.D Braatz, Advanced control of crystallization processes, Annual reviews in control, (2002) 87-99.
• [8] R.S.Sutton, A.G.Barto Reinforcement Learning. An Introduction, MIT Press Ltd (2018).
• [9] MATLAB, MathWorks, Inc., Natick, Massachusetts, United andStates. [Online]. Available: https://www.mathworks.com.
• [10] V.Maneea, R.Barattib, J.A.Romagnolia Learning to navigate a crystallization model with Deep Reinforcement Learning, Chemical Engineering Research and Design, 178 (2022), 111-123
• [11] .Manee, W.Zhu, J.A.Romagnoli A Deep Learning Image-Based Sensor for Real-Time Crystal Size Distribution Characterization, Industrial & Engineering Chemistry Research 58 (2019), No. 51, 23175-23186
• [12] Z.Gao, Y.Wu,Y.Bao, J.Gong, J.Wang, S.Rohani Image Analysis for In-line Measurement of Multidimensional Size, Shape, and Polymorphic Transformation of L-Glutamic Acid Using Deep Learning-Based Image Segmentation and Classification, Crystal Growth & Design, 18 (2018), No. 8, 4275-4281. [13] S.Mostafa Nowee, A.Abbas†, J.A.Romagnoli Model-Based Optimal Strategies for Controlling Particle Size in Antisolvent Crystallization Operations Cryst. Growth Des., 8 (2008), 8, 2698–2706.
• [14] M. Sewak, Deep Reinforcement Learning, Springer, 2019.
• [15] T.P.Lillicrap, J.J.Hunt, A.Pritzel, N.Heess, T.Erez, Y.Tassa, D.Silver, D.Wierstra, Continuos control with deep reinforcement learning, arXiv, (2019)
• [16] D.Silver, A.Huang, C.J.Maddison, A.Guez, L.Sifre, G.Van Den Driessche, J.Schrittwieser, I.Antonoglou, V.Panneershelvam, M.Lanctot, S.Dieleman, D.Grewe,J.Nham, N.Kalchbrenner, I.Sutskever, T.Lillicrap, M.Leach, K.Kavukcuoglu, T.Graepel, D.Hassabis, Masteringthe game of go with deep neural networks and tree search. (2016) Nature.
• [17] V.Mnih, K.Kavukcuoglu, D.Silver, A.Graves, I.Antonoglou, D.Wierstra, M.Riedmiller Playing Atari with Deep Reinforcement Learning, arXviv (2013)
• [18] J. D. Ward and C.-C. Yu, Population balance modeling in Simulink: PCSS, Computers and Chemical Engineering, (2008), 2233-2242.
• [19] J.Schulman, F.Wolski, P.Dhariwal, A.Radford, O.Klimov, Proximal Policy Optimization Algorithms, (2017) arXviv
• [20] Rymarczyk T., Kłosowski G., Hoła A., Sikora J., Tchórzewski P., Skowron Ł., Optimising the Use of Machine Learning Algorithms in Electrical Tomography of Building Walls: Pixel Oriented Ensemble Approach, Measurement, 188 (2022), 110581.
• [21] Koulountzios P., Rymarczyk T., Soleimani M., Ultrasonic Time-of-Flight Computed Tomography for Investigation of Batch Crystallisation Processes, Sensors, 21 (2021), No. 2, 639.
• [22] Kłosowski G., Rymarczyk T., Niderla K., Rzemieniak M., Dmowski A., Maj M., Comparison of Machine Learning Methods for Image Reconstruction Using the LSTM Classifier in Industrial Electrical Tomography, Energies 2021, 14 (2021), No. 21, 7269.
• [23] Rymarczyk T., Król K. Kozłowski E., Wołowiec T., Cholewa Wiktor M., Bednarczuk P., Application of Electrical Tomography Imaging Using Machine Learning Methods for the Monitoring of Flood Embankments Leaks, Energies, 14 (2021), No. 23, 8081.
• [24] Majerek D., Rymarczyk T., Wójcik D., Kozłowski E., Rzemieniak M., Gudowski J., Gauda K., Machine Learning and Deterministic Approach to the Reflective Ultrasound Tomography, Energies, 14 (2021), No. 22, 7549.
• [25] Kłosowski G., Rymarczyk T., Kania K., Świć A., Cieplak T.,Maintenance of industrial reactors supported by deep learning driven ultrasound tomography, Eksploatacja i Niezawodnosc – Maintenance and Reliability; 22 (2020), No 1, 138–147.
• [26] Gnaś, D., Adamkiewicz, P., Indoor localization system using UWB, Informatyka, Automatyka, Pomiary W Gospodarce I Ochronie Środowiska, 12 (2022), No. 1, 15-19.
• [27] Styła, M., Adamkiewicz, P., Optimisation of commercial building management processes using user behaviour analysis systems supported by computational intelligence and RTI, Informatyka, Automatyka, Pomiary W Gospodarce I Ochronie Środowiska, 12 (2022), No 1, 28-35.
• [28] Korzeniewska, E., Krawczyk, A., Mróz, J., Wyszyńska, E., Zawiślak, R., Applications of smart textiles in post-stroke rehabilitation, Sensors (Switzerland), 20 (2020), No. 8, 2370.
• [29] Sekulska-Nalewajko, J., Gocławski, J., Korzeniewska, E., Amethod for the assessment of textile pilling tendency using optical coherence tomography, Sensors (Switzerland), 20 (2020), No. 13, 1–19, 3687.

Uwagi

Opracowanie rekordu ze środków MNiSW, umowa nr SONP/SP/546092/2022 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2024).

Identyfikatory

DOI

10.15199/48.2023.03.16