Od halucynacji do rzetelnych rozwiązań: jak zwiększyć wiarygodność odpowiedzi ChatGPT w nauczaniu matematyki

• Autorzy: Małolepszy Marek

Identyfikatory

DOI

10.32016/1.76.14

Warianty tytułu

EN

From hallucinations to reliable solutions: how to increase the credibility of ChatGPT’s responses in mathematics education

• Konferencja: Innowacje dydaktyczne w matematyce akademickiej (I ; 24.06.2024 ; Gdańsk ; Polska)
• Języki publikacji: PL

Abstrakty

PL

Jednym z głównych zarzutów stawianych ChatGPT są jego halucynacje. W artykule przedstawiono wyniki pilotażowego badania, mającego na celu zwiększenie wiarygodności odpowiedzi generowanych przez ChatGPT. Badanie dotyczyło obliczania całek nieoznaczonych. Przeanalizowano liczbę poprawnych odpowiedzi uzyskanych w trzech etapach: w pierwszym podejściu, po weryfikacji oraz po zastosowaniu procedury polegającej na powtarzaniu procesu weryfikacji, aż do uzyskania dwóch identycznych wyników z rzędu. Wyniki badania wskazują, że weryfikacja oraz opisana procedura istotnie poprawiają jakość odpowiedzi. Niemniej jednak, mimo wzrostu liczby poprawnych odpowiedzi, ich ostateczny odsetek nadal pozostaje niezadowalający.

EN

One of the main criticisms of ChatGPT is its tendency to hallucinate. This paper presents the results of a pilot study aimed at improving the reliability of answers generated by ChatGPT. The study focused on solving indefinite integrals. The number of correct answers obtained was analysed at three stages: in the initial attempt, after verification, and after applying a procedure in which the verification process was repeated until two identical results were obtained consecutively. The results indicate that verification and the described procedure significantly improve the quality of the responses. However, despite an increase in the number of correct answers, the final percentage of correct responses remains unsatisfactory.

Słowa kluczowe

PL

sztuczna inteligencja; ChatGPT; halucynacje

EN

artificial intelligence; ChatGPT; hallucinations

• Wydawca: Wydział Elektrotechniki i Automatyki Politechniki Gdańskiej
• Czasopismo: Zeszyty Naukowe Wydziału Elektrotechniki i Automatyki Politechniki Gdańskiej
• Rocznik: 2024
• Tom: nr 76
• Strony: 69--72
• Opis fizyczny: Bibliogr. 9 poz., tab., wykr.

Twórcy

autor

Małolepszy Marek

• Politechnika Łódzka, Centrum Nauczania Matematyki i Fizyki, tel.: [phone]

Bibliografia

• 1. OpenAI o1https://openai.com/ (data dostępu 29.08.2024)
• 2. Halaweh, M.: ChatGPT in education: Strategies for responsible implementation. Contemporary Educational Technology, 2023, 15(2), ep421.
• 3. Voskoglou, M. G., Salem A. B. M.: Benefits and Limitations of the Artificial with Respect to the Traditional Learning of Mathematics. Mathematics 2020, 8, 611.
• 4. Wardat, Y., Tashtoush, M. A., AlAli, R., Jarrah, A. M.: ChatGPT: A revolutionary tool for teaching and learning mathematics. Eurasia Journal of Mathematics, Science and Technology Education, 2023, 19(7), em2286.
• 5. Lo C.K.: What Is the Impact of ChatGPT on Education? A Rapid Review of the Literature. Education Sciences. 2023, 13(4):410.
• 6. Chelli M., Descamps J., Lavoué V., Trojani C., Azar M., Deckert M., Raynier J.L., Clowez G., Boileau P., Ruetsch-Chelli C.: Hallucination Rates and Reference Accuracy of ChatGPT and Bard for Systematic Reviews: Comparative Analysis, Journal of Medical Internet Research 2024; 26:e53164.
• 7. Cheng V., Yu Z.: Analyzing ChatGPT’s Mathematical Deficiencies: Insights and Contributions. In Proceedings of the 35th Conference on Computational Linguistics and Speech Processing (ROCLING 2023), s. 188-193, Taipei City, Taiwan. The Association for Computational Linguistics and Chinese Language Processing (ACLCLP).
• 8. Frieder S., Pinchetti L., Chevalier A., Griffiths R., Salvatori T., Lukasiewicz T., Petersen P., Berner J.: Mathematical capabilities of ChatGPT. In Proceedings of the 37th International Conference on Neural Information Processing Systems (NIPS '23). Curran Associates Inc., Red Hook, NY, USA, Article 1205, 2024, s. 27699-27744.
• 9. Pardos Z. A., Bhandari S.: ChatGPT-generated help produces learning gains equivalent to human tutorauthored help on mathematics skills. PLoS ONE 2024 19(5): e0304013.

Uwagi

Opracowanie rekordu ze środków MNiSW, umowa nr POPUL/SP/0154/2024/02 w ramach programu "Społeczna odpowiedzialność nauki II" - moduł: Popularyzacja nauki (2025).