Zastosowanie uczenia ze wzmocnieniem w układach sterowania ruchem statku

• Autorzy: Rak A.

Warianty tytułu

EN

Application of reinforcement learning to ship motion control systems

• Języki publikacji: PL

Abstrakty

PL

W artykule przedstawiono ideę zastosowania algorytmów uczenia ze wzmocnieniem do wyznaczania trajektorii statku na ograniczonym akwenie, w obecności przeszkód nawigacyjnych. Program sterujący statkiem pełni rolę ucznia, który poprzez dynamiczne interakcje z otoczeniem zdobywa informację wartościującą (wzmocnienie), oceniającą akcje podejmowane przez ten program. Ciąg akcji ma doprowadzić do wykonania zadania zgodnie z obraną strategią decyzyjną. W proponowanym rozwiązaniu zadaniem dla ucznia jest znalezienie możliwej do przebycia, bezpiecznej trajektorii ruchu statku mającego wykonać manewry na ograniczonym akwenie.

EN

The paper presents an idea of reinforcement learning application to reference trajectory generation for the ship maneuvering in the confined waters. The ship controller acts as an agent, which gathers a reinforcement signal evaluating its actions by the interaction with the environment. A series of the actions chosen according to the specified policy should finish with the predefined goal. In the proposed solution the course of actions is defined as consecutive points of safe, executable, reference trajectory of the ship maneuvering in the confined waters.

Słowa kluczowe

PL

automatyka; układ sterowania; program sterujący statkiem

EN

automatics; control system; ship controller acts

• Wydawca: Wydawnictwo Uniwersytetu Morskiego w Gdyni
• Czasopismo: Zeszyty Naukowe Akademii Morskiej w Gdyni
• Rocznik: 2009
• Tom: nr 62
• Strony: 133--140
• Opis fizyczny: Bibliogr. 9 poz., rys.

Twórcy

autor

Rak A.

• Akademia Morska w Gdyni

Bibliografia

• 1. Barto G. A., Sutton S. R., Reinforcement Learning: An Introduction, MIT Press, Cambridge 1998 (dostępne on-line: http://www.cs.ualberta.ca/~sutton/book/the-book.html).
• 2. Chatzidimitriou K., CS440 Project: Ship Steering Using Reinforcement Learning, Colorado State University 2004 (dostępne on-line: http://en.scientificcommons.org/ 40636884).
• 3. Cichosz P., Systemy uczące się, Wydawnictwa Naukowo-Techniczne, Warszawa 2000.
• 4. Fossen T. I., Marine Control Systems: Guidance, Navigation and Control of Ships, Rigs and Underwater Vehicles, Marine Cybernetics AS, Trondheim 2002.
• 5. Gierusz W., Synteza wielowymiarowych układów sterowania precyzyjnego ruchem statku z wykorzystaniem wybranych metod projektowania układów odpornych, Wydawnictwo Akademii Morskiej w Gdyni, Gdynia 2005.
• 6. Gyoungwoo L., Surendan S., Sang-Hyun Kim, Algorithms to control the moving ship during harbour entry, Applied Mathematical Modelling, vol. 33 (2009), no. 5, s. 2474–2490.
• 7. Łącki M., Reinforcement learning in ship handling, TransNav'07 Symposium, Gdynia 2007.
• 8. Mitsubori K., Kamio T., Tanaka T., On A Course Determination based on the Reinforcement Learning in Maneuvering motion of a ship with the tidal current effect, International Symposium on Nonlinear Theory and its Applications, Xi’an 2002.
• 9. Morawski L., Nguyen Cong V., Rak A., Full-Mission Marine Autopilot Based on Fuzzy Logic Techniques, Wydawnictwo Akademii Morskiej w Gdyni, Gdynia 2008.