On practical problems with verification and validation of computational models

• Autorzy: Kwaśniewski L.

Warianty tytułu

PL

O praktycznych problemach związanych z weryfikacją i walidacją modeli numerycznych

• Języki publikacji: EN

Abstrakty

EN

This paper discusses the concepts of verification and validation (V&V) in computational mechanics by referring to recently published papers and guides on V&V that define some best practices and show directions for future development. The perspective of an analyst, who develops computational models, makes runs, and analyzes numerical results mostly using software based on the finite element method, is presented. The considerations emphasize practical problems encountered in the V&V process, potential sources of errors and uncertainties, the importance of sensitivity study, new ideas regarding the relationship between validation and verification, differences between calibration and validation, new aspects of the validation metrics and validation hierarchy, and guides for designing validation experiments. The discussion is illustrated by computational problem examples. This paper presents some skepticism toward the formally probabilistic approach described in many publications. The examples presented in this paper show that for the non-linear problems there are unavoidable errors that are an inherent part of the solution procedures. For the wide range of conditions found in practice, it is impossible to define general requirements guaranteeing satisfying accuracy, and unexpected large errors can be encountered. To identify such discrepancies, called here the errors of discretization, verification through the testing of different solution options is necessary. Moreover, separation of all sources of errors is today impossible for many complex systems.

PL

Przedstawiono dyskusję na temat weryfikacji i walidacji (V&V) w mechanice komputerowej, w odniesieniu do opublikowanych w ostatnim czasie artykułów naukowych i wytycznych dotyczących tej tematyki. W pracy przedstawiono punkt widzenia użytkownika programów numerycznych opartych na metodzie elementów skończonych, który zajmuje się opracowywaniem modeli numerycznych, przeprowadza obliczenia i analizuje otrzymane wyniki. Prezentowana dyskusja jest skoncentrowana na praktycznych problemach związanych z przeprowadzaniem sformalizowanych procedur weryfikacji i walidacji. Rozważania dotyczą: identyfikacji potencjalnych źródet błędów obliczeń, nieokreśloności obliczeń, przydatności studiów parametrycznych, nowych idei dotyczących zależności pomiędzy weryfikacją i walidacją, różnic pomiędzy kalibracją modelu numerycznego a jego walidacją, nowych aspektów miar stosowanych w procesie walidacji i walidacji hierarchicznej, wskazówek dla projektowania eksperymentów walidacyjnych. Przedstawiona dyskusja jest zilustrowana wybranymi przykładami obliczeniowymi. W pracy przedstawiono trudności związane z praktycznym zastosowaniem sformalizowanego podejścia probabilistycznego, prezentowanego w wielu współczesnych publikacjach. Przykłady przedstawione w artykule wskazują, że w wielu zagadnieniach silnie nieliniowych, rozwiązywanych przy pomocy metod numerycznych, mogą pojawić się nieusuwalne błędy obliczeń. Dla wielu zagadnień, występujących w praktyce inżynierskiej, nie jest możliwym sformułowanie uniwersalnych wymagań, których zastosowanie gwarantowałoby odpowiedni poziom dokładności obliczeń, a w wielu przypadkach mogą pojawić się niespodziewanie duże błędy. W celu identyfikacji tego typu błędów, związanych z szeroko pojętym procesem dyskretyzacji modelu numerycznego, niezbędna jest weryfikacja różnorodnych opcji numerycznych. Dodatkowo, rozdzielenie wszystkich źródeł błędów obliczeń wydaje się niemożliwe dla wielu złożonych systemów.

Słowa kluczowe

EN

computational model; verification; validation; sensitivity study; calibration

PL

model numeryczny; weryfikacja; walidacja; analiza wrażliwości; kalibracja

• Wydawca: Komitet Inżynierii Lądowej i Wodnej PAN ; Politechnika Warszawska, Wydział Inżynierii Lądowej
• Czasopismo: Archives of Civil Engineering
• Rocznik: 2009
• Tom: Vol. 55, nr 3
• Strony: 323--346
• Opis fizyczny: Bibliogr. 41 poz., il.

Twórcy

autor

Kwaśniewski L.

• Warsaw University of Technology,

Bibliografia

• 1. W. L. OBERKAMPF, T. G. TRUCANO, C, HIRSCH, Verification, validation, and predictive capability in computational engineering and physics, Appl. Mech. Rev. 57 (5), 345-384, 2004.
• 2. W. L. OBERKAMPF-, T. G. TRUCANO, Design of and Comparison with Verification and Validation Benchmarks, 2002 http://www.nea.fr/html/nsd/reports/2007/nea6298/Invited_Papers/Oberkampf.pdf
• 3. G. E. MOORE, Cramming more components onto integrated circuits, Electronics, 38, 8, April 19, 1965.
• 4. D. BENSON, A Brief Introduction to Explicit Finite Element Methods, FEA Information International News, FEA Information Company, Issue June 2001.
• 5. T. BELYTSCHKO, W. K. Liu, B. MORAN, Nonlinear Finite Elements for Continua and Structures, John Wiley & Sons, LTD, Chichester, England, 2000.
• 6. M. MAKINO, The Performance of 10-milion Elements Car Model by MPP Version of LS-DYNA® on Fujitsu PRIMEPOWER, 10th International LS-DYNA® Users Conference Dearborn, Michigan, USA, June 8-10, 2008.
• 7. I. BABUSKA, J.T. ODEN, Verification and validation in computational engineering and sciences: basic concepts, CMAME, 193, 4057-4066, 2004.
• 8. J. O. HALLQUIST, LS-DYNA Theory Manual, Livermore Software Technology Corporation, 2006.
• 9. T. BELYTSCHKO, K. MISH, Computability in nonlinear solid mechanics, http://www.tam.northwestern.edu/tb/computability_w_figs.pdf
• 10. R. G. HILLS, M. PILCH, K. J. DOWDING, J. RED-HORSE, T. L. PAEZ, I. BABUSKA, R. TEMPONE, Validation Challenge Workshop, CMAME, 197, 2375-2380, 2008.
• 11. U.S. Department of Defense. Verification, Validation, and Accreditation (VV&A) Recommended Practices Guide, Defense Modeling and Simulalion Office, Office of the Director of Defense Research and Engineering, 1996, www.dmso.mil/docslib.
• 12. AIAA. Guide for the Verification and Validation of Computational Fluid Dynamics Simulations, American Institute of Aeronautics and Astronautics, AIAA-G-077-1998, Reston, VA, 1998.
• 13. ANS. Guidelines for the Verification and Validation of Scientific and Engineering Computer Programs for the Nuclear Industry, American Nuclear Society, ANSI/ANS-10.4-1987, 1987.
• 14. ASME Guide for Verification and Validation in Computational Solid Mechanics, The American Society of Mechanical Engineers, ISBN #: 079183042X, 2006.
• 15. B. H. THACKER et al., Concepts of Model Verification and Validation, LA-14167-MS Issued: October 2004, www.osti.gov/bridge/servlets/purl/835920-Y18Ow3/native/835920.pdf
• 16. S. SCHLLSINGER, Terminology for Model Credibility, Simulation, 32, 3, 1979.
• 17. P. J. ROACHE, Verification and Validation in Computational Science and Engineering, Hermosa Publis.hers, Albuquerque, NM 1998.
• 18. L. E. SCHWER, An Overview of the ASME Guide for Verification and Validation in Computational Solid Mechanics. LS-DYNA Anwenderforum, Ulm 2006 www.dynamore.de/download/af06/papers/A-II-4.pdf
• 19. IEEE. IEEE Standard Glossary of Software Engineering Terminology, IEEE Std 610.12- 68-1990, New York, 1991.
• 20. G. I. SCHUELLER, On the treatment of uncertainties in structural mechanics and analysis, Computers and Structures 85, 235-243, 2007.
• 21. UKAS, The Expression of Uncertainty in Testing, United Kingdom Accreditation Service, Edition 1, October 2000.
• 22. ISO, Guide to the Expression of Uncertainty in Measurement, ISO Geneva, 1993.
• 23. A. GLINICKA. L. KWAŚNIEWSKI, About reasons of discrepancy between FE simulation and experiment carried out on steel bar under compression, 22nd Symposium on Experimental Mechanics of Solids, (Jachranka, Poland, 2006) 225-230.
• 24. G. H. A. VAN DER HEIJDEN, R. M. W. VAN BIJNEN, L. PEL, H. P. HUININK, Moisture transport in heated concrete, as studied by NMR, and its consequences for fire spalling, Cement and Concrete Research, 37, Issue 6, 894-901, June 2007.
• 25. D. C. KAMMER, K. F. ALVIN, D. S. MALKUS, Combining metamodels with rational function representations of discretization error for uncertainty quantification, Comput. Methods Appl. Mech. Engrg. 1919, 1367-1379, 2002.
• 26. I. BABUSKA, On the h, p and h-p version of the finite element metod, Czech - Slovak Conference on Differential Equations and Their Applications. Bratislava, Tatra Mountains Mathematical Publications, 4, 5-18.
• 27. J. ORKISZ, P. PRZYBYLSKI, I. JAWORSKA, A mesh generator for an adaptive multigrid MFD/FE metod, Computational Fluid and Solid Mechanics 2082-2085, 2003.
• 28. S. TIMOSHENKO, Theory of Elastic Stability, New York: McGraw-Hill Co., 1936.
• 29. G. E. P. Box, N. R. DRAPER, Empirical Model-Building and Response Surfaces, Wiley 424, 1987.
• 30. W. L. OBERKAMPF, T. G. TRUCANO, Verification and validation benchmarks, Nuclear Engineering and Design238, 716-743, 2008.
• 31. NAFEMS, National Agency for Finite Element Methods, http://www.nafems.org/
• 32. ABAQUS Benchmarks Manual. ABAQUS, Inc., Version 6.6, USA, 2006.
• 33. United Nations. Strength of the superstructure of large passenger vehicles. Regulation 66. Rev. 1. February 2006, http://www.ECE.org/trans/main/wp29/ wp29regs/r066rle.pdf
• 34. Y. G. PANOVKO, I. I. GUBANOVA, Stability and Oscillations of Elastic Systems. New York: Consultants Bureau, 1965.
• 35. L. KWAŚNIEWSKI, C. BOJANOWSKI, J. SIERVOGEL, J. W. WEKEZER, K. CICHOCKI, Crash and safety assessment program for paratransit buses, International Journal of Impact Engineering, 36, 2, 235-242, February 2009.
• 36. S. FOSTER, M. CHLADNA, C. HSIEH, I. BURGESS, R. PLANK, Thermal and structural behaviour of a full-scale composite building subject to a severe compartment fire, Fire Safety Journal, 42, 3, 183-199, 2007.
• 37. R. KLEIN, S. DOEBLING, F. GRAZIANI, M. PILCH, T. TRUCANO, Verification and Validation Whitepaper, ASC Predictive Science Academic Alliance Program, 2006.
• 38. B. A. SZABÓ, R. L. ACTIS, On the role of hierarchic spaces and models in verification and validation. Comput. Methods Appl. Mech. Engrg. doi: 10.1016/j.cma.2008.04.025,2008.
• 39. I. BABUSKA, F. NOBILE, R. TEMPONE, A systematic approach to model validation based on Bayesian updates and prediction related rejection criteria, Comput. Methods Appl. Mech. Engrg. 197, 2517-2539, 2008.
• 40. L. KWAŚNIEWSKI, L. HONGYI, J. W. WEKEZER, J. MALACHOWSKI, Finite Element Analysis of Vehicle-Bridge Interaction, Finite Elements in Analysis and Design, 42, 11, 950-959, 2006.
• 41. M. H. RAY, M. MONGIARDINI, M. ANGHILERI, Development of the Roadside Safety Verification and Validation Program, Roadside Safety Verification and Validation Program, (Draft) 2008 http://civil-ws2.wpi.edu/Documents/Roadsafe/NCHRP22-24/QPR