Aproksymacje kwadratowe w ciągłej optymalizacji nieliniowej

• Autorzy: Stachurski A.
• Języki publikacji: PL

Abstrakty

PL

Monografia jest poświęcona metodom rozwiązywania zadań optymalizacji nieliniowej bez ograniczeń korzystających z aproksymacji kwadratowych minimalizowanej funkcji celu oraz ich zastosowaniom. W książce przedstawiono aktualny stan wiedzy na temat metod wykorzystujących modele kwadratowe minimalizowanej funkcji, realizujących ideę generacji kierunków poszukiwań i minimalizacji kierunkowej. Wiedza ta jest niemal kompletna w przypadku zadań dwukrotnie ciągle różniczkowalnych, ściśle wypukłych. Otwarty pozostaje problem zbieżności metod, gdy macierz drugich pochodnych jest osobliwa. Osobowość tej macierzy występuje szczególnie często w zadaniach generowanych w wyniku użycia metody najmniejszych kwadratów do rozwiązywania układów równań nieliniowych i identyfikacji parametrów modeli nieliniowych. W pracy przeprowadzono analizę zbieżności metod oraz zebrano przykłady pokazujące możliwości pojawienia się cyklu w obliczeniach bądź wystąpienia zbieżności do punktów stacjonarnych, różnych od rozwiązania pierwotnego układu równań nieliniowych oraz punktów osobliwych niestacjonarnych. Monografia zawiera syntezę istniejących rezultatów oraz wyniki własne autora – dotyczące zbieżności Q-superliniowej metod ograniczonej klasy Broydena, reprezentacji wzorów wypukłej klasy Broydena z wykorzystaniem projekcji nieortogonalnych, interpretację metod gradientów sprzężonych w terminach metod quasi-newtonowskich, monotoniczność zmian wartości głównych pary macierzy symetrycznych, ściśle dodatnio określonych (hesjanu oraz jego aproksymacji). Rozważania teoretyczne zilustrowano opisem zastosowań obliczeniowych w kilku typach zadań, takich jak estymacja parametrów funkcji produkcji (Cobba-Douglasa, CES – Constant Elasticity of Substitution oraz VES – Variable Elasticity of Substitution), modelu powstawania i narastania pustek wewnętrznych w porowatości oraz analizy wytrzymałości konstrukcji żelbetowych (wieżowo-kominowych). W omawianych zastosowaniach dominującym w naukach inżynierskich pogląd o możliwości określenia a priori dobrego punktu startowego okazał się nieprawdziwy, co zrodziło konieczność zastosowania metod optymalizacji globalnej. W monografii opisano również wyniki eksperymentu dla sztucznie wygenerowanej rodziny zadań ściśle wypukłych o rosnącym wymiarze: od 2 do 2000. Wyniki obliczeniowe wskazują, że omawiane klasy metod są skutecznym narzędziem poszukiwania lokalnego minimum dla zadań małej i średniej skali.

EN

The book is devoted to nonlinear optimization methods for solving unconstrained problems which make use of quadratic approximation of the goal function and their application. The state of the knowledge on such methods, which realize the idea of the search directions generation and directional minimization is presented. The knowledge is almost complete in the case of twice continuously differentiable, strictly convex functions. There exist however open problems when the second derivative matrix (hessian) is singular. Singularity of the second order derivative matrix appears especially frequently in problems generated as the result of the application of the least squares method to solve sets of nonlinear equations and identifications of parameters appearing in the model in nonlinear way. In the book the convergence analysis of the methods is investigated and examples showing possibility of: cycle appearance in calculations, convergence to stationary points different from the solution of the solution of the original set of nonlinear equations, convergence to singular nonstationary points. The book contains also original results of its author – concerning Q-superlinear convergence of methods from the Broyden bounded class, new representation of Broyden convex class of updates making use of oblique projections, new interpretation of the conjugate gradient methods in terms of the quasi-newton methods, monotonicity of changes of principle values of the pair of symmetric, strictly positive matrices (hessian and its approximation). Theoretical considerations are illustrated by the description of computational applications in several types of problems: estimation of parameters of the production functions (Cobb-Douglas, CES – Constant Elasticity of Substitution and VES – Variable Elasticity of Substitution), estimation of the material functions parameters in the problem of the creation and growth of voids in porous materials subjected to elongation, reliability of steel-concrete construction (tower-chimney built from steel and concrete). In the discussed applications the common opinion dominating in the engineering sciences about the possibility of specifying a priori good starting point appeared to be false. Therefore, it was necessary to apply global optimization approach. Results of numerical experiments with artificially generated family of strictly convex problems with increasing size: from 2 to 2000 were presented. Computational results, presented in the book indicate that discussedclasses of methods are effective tool for local minimum in small and medium scale problems.

Słowa kluczowe

PL

aproksymacje kwadratowe; metody Newtona; metody quasi-newtonowskie; metoda gradientów sprzężonych; metoda najmniejszych kwadratów; identyfikacja; punkty osobliwe; funkcje produkcji; wytrzymałość konstrukcji

EN

square approximations; Newton's method; quasi-Newtonian methods; conjugate gradient method; method of least squares; identification; singularities; production functions; structural strength

• Wydawca: Oficyna Wydawnicza Politechniki Warszawskiej
• Czasopismo: Prace Naukowe Politechniki Warszawskiej. Elektronika
• Rocznik: 2012
• Tom: z. 184
• Strony: 3--181
• Opis fizyczny: Bibliogr. 115 poz., rys., tab., wykr.

Twórcy

autor

Stachurski A.

• Instytut Automatyki i Informatyki Stosowanej

Bibliografia

• [1] Afifi A.A., Azen S.P.: Statistical analysis. A computer oriented approach. New York, Academic Press 1979.
• [2] Armijo L.: Minimization of functions having Lipschitz continuous first derivatives. Pacific Journal of Mathematics, 1966, 16, pp. 1-3.
• [3] Al-Baali M.: Descent property and global convergence of the Fletcher-Reeves method with inexact line search. IMA J. Numer. Anal, 1985, 5, pp. 121-124.
• [4] Al-Baali M.: An efficient class of switching type algorithms in the Broyden family. Optimization Methods and Software, 1994, 4, No. 1, pp. 29-46.
• [5] Arrow K.J., Chenery H.B., Minhas B.S., Sollow R.M.: Capital-labor substitution and economic efficiency. The Review of Economic and Statistics, 1961, Vol. 43, pp. 225-250.
• [6] Axelsson O., Kaporin I.: On the sublinear and superlinear rate of convergence of conjugate gradient methods. Numerical Algorithms, 2000, Vol. 25, pp. 1-22.
• [7] Bazaraa M.S., Sherali J., Shetty K.: Nonlinear Programming. Theory and Algorithms. New York, John Wiley and Sons 1993.
• [8] Barkalov N.B.: Proizwodstwiennyje funkcii w modieljach ekonomiczjeskowo rosta. Moskwa, Izdatielstwo Moskowskowo Uniwiersitieta 1981.
• [9] Beckermann B., Kujlaars A.B.J.: Superlinear convergence of conjugate gradients. SIAM Journal on Numerical Analysis, 2000, Vol. 39, pp. 300-329.
• [10] Bertsekas D.P.: Nonlinear Programming. Belmont, Massachusets, Athena Scientific 1997.
• [11] Bertsekas D.P.: Projected Newton methods for optimization problems with simple constraints. SIAM J. on Control and Optimization, 1982, Vol. 20, pp. 221-246.
• [12] Białecki A.: Algorytmy globalne optymalizacji w powiązaniu z klasycznymi algorytmami lokalnej optymalizacji nieliniowej. Praca dyplomowa magisterska przygotowana pod kierunkiem A. Stachurskiego, IAiIS PW 2001.
• [13] Bonnans F.F., Gilbert J.C., Lemarechal C., Sagastizabal C.A.: Numerical Optimization, sec. ed., Berlin, Springer Verlag 2006.
• [14] Brdyś M., Ruszczyński A.: Metody optymalizacji w zadaniach. Warszawa, WNT 1985.
• [15] Broyden C.G.: A Class of Methods for Solving Nonlinear Simultaneous Equations. Mathematics of Computation, 1965, Vol. 19, pp. 577-593.
• [16] Broyden C.G.: The convergence of a class double-rank minimization algorithms. Journal of the Institute of Mathematics and its Applications, 1970, Vol. 6, pp. 76-90.
• [17] Broyden C.G., Dennis J.E. Jr., More J.J.: On the local and supedinear convergence of quasi-newton methods. Journal of the Institute of Mathematics and its Applications, 1973, Vol. 12, pp. 223-245.
• [18] Broyden C.G.: On the discovery of the "good Broyden" method. Mathematical Programming. Ser. B, 2000, Vol. 87, pp. 209-213.
• [19] Burmeister W.: Die Konvergenzordnung des Fletcher-Powell Algorithmus. Zeitschrift für Angewandte Mathematik und Mechanik, 1973, Vol. 53, pp. 693-699.
• [20] Byrd R.H., Nocedal J., Yuan Y.-X.: Global Convergence of a Class of Quasi-Newton Methods on Convex Problems. SIAM Journal on Numerical Analysis, 1987, Vol. 24, pp. 1171-1190.
• [21] Byrd R.H., Nocedal J., Schnabel R.B.: Representations of quasi-Newton matrices and their use in limited memory methods. Mathematical Programming, 1994, Vol. 63, pp. 129-156.
• [22] Byrd R.H., Marrazzi M., Nocedal J.: On the convergence of Newton iterations to non-stationary points. Mathematical Programming, Ser. A, 2004, Vol. 99, pp. 127-148.
• [23] Chmielarz W., Stachurski A.: Application of the New Form of VES Production Function to the Description of the Polish National Economy (in polish). Przegląd Statystyczny (Statistical Review), 1983, Vol. 30, pp. 251-266.
• [24] Chmielarz W., Stachurski A.: New Class of VES Production Functions: Properties and Estimation Results. Control & Cybernetics, 1986, v. 15, pp. 367-379.
• [25] Chu C.C., Needleman A.: Void nucleation effects in biaxially stretched sheets. Trans. ASME, J. Engng. Materials and Technology, 1980, Vol. 102, pp. 249-256.
• [26] Cohen A.: Rate of convergence of several conjugate gradient algorithms. SIAM Journal on Numerical Analysis, 1972, Vol. 9, pp. 248-259.
• [27] Collatz L.: Funcktional analysis und numerische mathematik. Berlin-Heidelberg-New York, Die Grundlehren der mathematischen Wissenschaften in Einzeldarstellungen, Bd. 20, 1968.
• [28] Crowder H.P., Wolfe P.: Linear convergence of the conjugate gradient method. IBM J. Res. Dev., 1969, Vol. 16, pp. 431-433.
• [29] Dai Y.H., Yuan Y.: A nonlinear conjugate gradient method with a strong global convergence property. SIAM J. Optim., 1999, Vol. 10, pp. 177-182.
• [30] Dai Y.H.: New properties of a nonlinear conjugate gradient method. Numerische Mathematics, 2001, Vol. 89, pp. 83-98.
• [31] Dai Y.H., Yuan Y.: A three-parameter family of hybrid conjugate gradient method. Mathematics of Computation, 2001, Vol. 70, pp. 1155-1167.
• [32] Dai Y.H.: Convergence properties of the BFGS algorithm. SIAM Journal on Optimization, 2002, Vol. 13, pp. 693-701.
• [33] Dai Y.H., Yuan Y.: A class of globally convergent conjugate gradient methods. Science in China, Ser. A, 2003, Vol. 46, pp. 251-261.
• [34] Daniel J.W.: A correction concerning the convergence rate for the conjugate gradient method. SIAM J. Numer. Anal., 1970, Vol. 7, pp. 277-280.
• [35] Dawidowicz J.: Particle swarm optimization. Praca dyplomowa magisterska przygotowana pod kierunkiem A. Stachurskiego, IASIS PW 2008.
• [36] Davidon W.C.: Variable metric method for minimization, AEC Res. and Dev. Report, 1959, ANL-5990 (revised).
• [37] Davidon W.C.: Variable metric method for minimization. SIAM J. on Optimization, 1991, 1, pp. 1-17.
• [38] Dennis J.E. Jr., Mors J.J.: A characterization of superlinear convergence and its application to quasi-Newton methods. Mathematics of Computation, 1974, 28, pp. 549-560.
• [39] Dennis J.E. Jr., More J.J.: Quasi-Newton methods, motivation and theory. SIAM Review, 1977, 19, pp. 46-89.
• [40] Dixon L.C.W.: Variable metric algorithms: Necessary and sufficient conditions for identical behavior on nonquadratic functions. Journal of Optimization Theory and Applications, 1972, 10, pp. 34-40.
• [41] Findeisen W., Szymanowski J., Wierzbicki A.: Teoria i metody obliczeniowe optymalizacji. Warszawa, PWN 1977.
• [42] Fisher J.R..: Void nucleation in spheroidized steels during tensile deformation. Brown University, PhD. Thesis, 1980.
• [43] Fletcher R.: A rapid convergent descent method for minimization. Computer J., 1963, Vol. 6, pp. 163-168.
• [44] Fletcher R., Reeves C.M.: Function minimization by conjugate gradients. Computer J., 1964, Vol. 7, pp. 149-154.
• [45] Fletcher R., Powell M.J.D.: A new approach to variable metric algorithms. Computer J., 1970, Vol. 13, pp. 317-322.
• [46] Fletcher R.: Practical Methods of Optimization. New York, John Wiley & Sons 1987, reprinted 2006.
• [47] Fourer R.: Nonlinear Programming Frequently Asked Questions, strona internetowa, dostępna pod adresem http://frcatel.fri.utc.ak/nonlinear-programming-faq.html\verb
• [48] Gantmacher F.R.: Teorija matric (w języku ros.). Moskwa, Izdatielstwo Nauka 1988.
• [49] Goldfarb D.: A family of variable metric methods derived by variational means. Mathematics of Computation, 1970, 23, pp. 23-26.
• [50] Goldstein A.A.: On steepest descent. SIAM J. Control, 1965, 3, pp. 147-151.
• [51] Gurson A.L.: Continuum theory of ductile rupture by void nucleation and growth. Part 1. Yield criteria and flow rules for porous ductile media. Journal of Engineering Materials and Technology, Trans. of the ASME, 1977, Vol. 99, pp. 2-15.
• [52] Hager W.W., Zhang H.: A new conjugate gradient method with guaranteed descent and an effcient line search. SIAM Journal on Optimization, 2005, Vol. 16, pp. 170-192.
• [53] Hestenes M.R., Stiefel E.L.: Methods of conjugate gradients for solving linear systems. J. Research Nat. Bur. Standards, 1952, Vol. 49, pp. 409-436.
• [54] Holland J.H.: Adaptation in natural and artificial systems: an introductory analysis with applications to biology, control, and artificial intelligence. Michigan, University of Michigan Press 1975.
• [55] Hooke R., Jeeves T.A.: Direct search solution of numerical and statistical problems. Journal of ACM, 1961, Vol. 0, pp. 212-229.
• [56] Huang H.Y.: Unified approach to quadratically convergent algorithms for function minimization. Journal of Optimization Theory and Applications, 1970, Vol. 5, pp. 447-485.
• [57] Kennedy J., Eberhart R.C.: Particle Swarm Optimization. In: Proceedings IEEE International Conference on Neural Networks, IV, pp, 1942-1948, NJ, 1995, IEEE Service Center Piscataway.
• [58] Kennedy J., Eberhart R.C.: Swarm Intelligence. Morgan Kaufman Publishers 2001.
• [59] Lechman M., Stachurski A.: Nonlinear Section model for Analysis of R.C Circular Tower Structures Weakened by Openings, Structural Engineering and Mechanics, 2005, Vol. 20, pp. 161-172.
• [60] Liu Y., Storey C.: Efficient generalized conjugate gradient algorithms, Part 1: Theory. J. Optim. Theory Appl., 1991, Vol. 69, pp. 129-137.
• [61] Mascarenhas W.F.: The BPGS method with exact line searches fails for non-convex objective functions. Mathematical Programming, Ser. A, 2004, Vol. 99, pp. 49-61.
• [62] Mascarenhas W. F.: Newton’s iterates can converge to non-stationary points. Mathematical Programming, Ser. A, 2008, Vol. 112, pp. 327-334.
• [63] Mazurek J.: Porównanie efektywności algorytmów klasteryzacyjnych i genetycznych w zadaniach poszukiwania optimum globalnego. Praca dyplomowa inżynierska przygotowana pod kierunkiem A. Stachurskiego, IAiIS PW 2009.
• [64] Mądry T.M.: Inteligencja roju w poszukiwaniu optimum w połączeniu z metodami poszukiwań lokalnych. Praca dyplomowa inżynierska przygotowana pod kierunkiem A. Stachurskiego, IAiIS PW 2008.
• [65] McCormick G., Ritter K.: Alternative proofs of the convergence properties of the conjugate gradient method. Journal of Optimization Theory and Applications, 1974, Vol. 13, pp. 497-518.
• [66] More J.J., Garbow B.S.: Hillstrom K.E.: Testing unconstrained optimization software. ACM Transactions on Mathematical Software, 1981, Vol. 7, pp. 17-41.
• [67] Nazareth J.L.: A conjugate direction algorithm without line searches. Journal of Optimization Theory and Applications, 1977, Vol. 23, pp. 373-387.
• [68] Nocedal J., Wright S.: Numerical Optimization. Berlin, Springer Verlag 2006.
• [69] Nowak Z., Stachurski A.: Nonlinear Regression Problem of Material Functions Identification for Porous Media Plastic Flow. Engineering Transactions, 2001, Vol. 49, pp. 637-661.
• [70] Nowak Z., Stachurski A.: Global Optimization in Material Functions Identification for Voided Media Plastic Flow. Computer Assisted Mechanics and Engineering Sciences, 2002, Vol. 9, pp. 205-221.
• [71] Nowak Z., Stachurski A.: Identification of an Augmented Gurson Model Parameters for Plastic Porous Media. Foundations of Civil and Environmental Engineering , 2002, No. 2, pp. 171-179. (Publishing House of Poznań University of Technology).
• [72] Nowak Z., Stachurski A.: Modelling and identification of voids nucleation and growth effects in porous media plastic flow. Control and Cybernetics, 2003, Vol. 32, pp. 820-849.
• [73] Nowak Z., Stachurski A.: Robust Identification of an Augmented Gurson Model for Elasto-plastic Porous Media. Archives of Mechanics (Archiwum Mechaniki Stosowanej), 2006, Vol. 2, pp. 125-154.
• [74] Ortega J.M., Rheinboldt W.C.: Iterative solution of non-linear equations in several variables. New York-London, Computer Science and Applied Mathematics 1970.
• [75] Otani Y.: A note on variable elasticity of substitution. Journal of Economic Theory, 1970, Vol. 2, pp. 86-94.
• [76] Papakonstantinou J.M.: Historical Development of the BFGS Secant Method and Its Characterization Properties. ProQuest, UMI Dissertation Publishing 2011.
• [77] Perzyna P.: Internal state variable description of dynamic fracture of ductile solids. Int. J. Solids Structure, 1986, Vol. 22, pp. 797-818.
• [78] Polak E., Ribiére G.: Note sur la convergence de directions conjugées. Rev. Francaise Informat Recherche Opertionelle, 1969, Vol. 3e Année 16, pp. 35-43.
• [79] Poljak B.T.: The conjugate gradient method in extreme problems. USSR Comp. Math. Math. Phys., 1969, Vol. 9, pp. 94-112.
• [80] Powell M.J.D.: A hybrid method for nonlinear equations. In: Rabinowitz P., editor: Numerical Methods for Nonlinear Algebraic Equations. pp. 87-114, London, 1970, Gordon and Breach.
• [81] Powell M.J.D.: On the convergence of the variable metric methods. Journal of the Institute of Mathematcis and its Applications, 1971, Vol. 7, pp. 21-36.
• [82] Powell M.J.D.: Some convergence properties of the conjugate gradient method. Mathematical Programming, 1976, Vol. 11, pp. 42-49.
• [83] Powell M.J.D.: Some global convergence properties of a variable metric algorithm for minimization without exact line searches. In: Cottle R.W. and Lemke C.E., editors: Nonlinear Programming. SIAM-AMS Proceedings vol. IX, pp. 53-72, Philadelphia, 1976, SIAM Publications.
• [84] Powell M.J.D.: Restart procedures of the conjugate gradient method. Mathematical Programming, 1977, Vol. 12, pp. 241-254.
• [85] Powell M.J.D.: Nonconvex minimization calculations and the conjugate gradient method. in: Griffiths D.F., ed.: Numerical Analysis. Lecture Notes in Mathematics, 1984, Vol. 1066, Springer-Verlag, Berlin, pp. 122-141.
• [86] Powell M. J.D.: On the convergence of the DFP Algorithm for unconstrained Optimization when there are only two variables. Mathematical Programming, 2000, Ser. B, Vol. 87, pp. 281-301.
• [87] Press W.H., Teukolsky S.A., Vetterling W.T., Flannery B.P.: Numerical Recipes in C: The Art of Scientific Computing. Cambridge University Press, Cambridge 1993.
• [88] Rechenberg I.: Evolutionsstrategie - Optimierung technischer Systeme nach Prinzipien der biologischen Evolution. Frommann-Holzboog, Stuttgart 1973.
• [89] Ritter K.: Local and superlinear convergence of a class of variable metric methods. Computing, 1979, Vol. 23, pp. 287-297.
• [90] Rudnicki J.W, Rice J.R.: Conditions for the localization of deformation in pressure-sensitive delatant materials. Journal Mech. Phys. Solids, 1975, Vol. 23, pp. 371-394.
• [91] Saje M., Pan J., Needleman A.: Void nucleation effects on shear localization in porous plastic solids, Int. J. Fracture, 1982, 19, pp. 163-182.
• [92] Shanno D.F.: Conditioning of quasi-Newton methods for function minimization. Mathematics of Computation, 1970, 24, pp. 27-30,
• [93] Stachurski A.: Analiza metod quasi-newtonowskich jako efektywnych algorytmów optymalizacji nieliniowej. (Analysis of the quasi-Newton methods as efficient computational algorithms of nonlinear optimization) rozprawa doktorska przygotowana pod kierunkiem prof. A.P. Wierzbickiego, obroniona w 1980 r.
• [94] Stachurski A.: Superlinear convergence of Broyden's counded θ-class of methods. Mathematical Programming, 1981, 20, No. 2, pp. 196-212.
• [95] Stachurski A.: Superlinear Convergence of Symmetric Huang's Class of Methods. Numerische Mathematik, 1981, 38, pp. 209-218.
• [96] Stachurski A.: Application of a global optimization method for some parameter estimation problems. w: R. Kulikowski, J. Sosnowski, eds., Badania Systemowe. Tom 2, Metody Optymalizacji i Sterowania Komputerowego (wybrane prace przygotowane w ramach programu CPBP 02.15). Omnitex Press, Warszawa, 1990, pp. 265-284.
• [97] Stachurski A., Wierzbicki A.F.: Podstawy Optymalizacji. wyd. 2, Oficyna Wydawnicza PW, Warszawa 2001.
• [98] Stachurski A., Lechman M.: On Solving a Set of Nonlinear Equations for the Determination of Stresses in RC Ring Sections with Openings. Communications in Applied Analysis, An International Journal for Theory and Applications, 2006, Vol. 10, pp. 517-536.
• [99] Stachurski A.: Wprowadzenie do optymalizacji. Oficyna Wydawnicza PW, Warszawa 2009.
• [100] Stachurski A.: On the Structure of Variable Metric Updates. International Journal of Pure and Applied Mathematics, 2009, 52, pp. 469-476.
• [101] Stachurski A.: Orthogonal projections in the quasi-Newton variable metric updates. Mathematics in Computers and Simulation, 2009 (to appear).
• [102] Stachurski A.: Broyden restricted class of variable metric methods and oblique projections. Preprints of the Federated Conference on Computer Science and Information Systems, 2012, pp. 491-494.
• [103] Stachurski A.: Oblique Projections; Broyden Restricted Class and Limited-Memory Quasi-Newton Methods. Optimization, 2012, submitted for publication.
• [104] Stoer J.: Wstęp do metod numerycznych, t. 1. Państwowe Wydawnictwo Naukowe, Warszawa 1979.
• [105] Sun Wenyu, Yuan Ya-Xiang: Optimization Theory and Methods. Nonlinear Programming. Berlin, Springer Verlag 2006.
• [106] Tylec M., Woroniecka I.: The problem of parameter estimation for CES production function (in polish), in: Cichocki K. i in.: Preparation of models of economical processes on the whole economy and branches levels and methods for solving these models. Technical report ZTS 15-1/81, pp, 118-142, Warszawa, 1981, IBS PAN.
• [107] Wąsiewicz A.: Algorytmy genetyczne w optymalizacji nieliniowej. Praca dyplomowa magisterska przygotowana pod kierunkiem A. Stachurskiego, IAiIS PW 1996.
• [108] Whiteside D.T. ed.: The Mathematical Papers of Isaac Newton. Volumes I-VII, Cambridge, Cambridge Unversity Press 1967-1976.
• [109] Wierzbicki A.P.: Penalty methods in solving optimization problems with vector performance criteria. in: Proceedings of VI-th IFAC World Congress, Cambridge/Boston 1975.
• [110] Wierzbicki A.P.: Basic properties of scalarizing functionals for multiobjective optimization. Mathematische Operations, Forschung und Statistik, Ser. Optimization, 1977, Vol. 8 (1), pp. 55-60.
• [111] Wolfe P.: Convergence conditions for ascent methods. SIAM Review, 1969, Vol. 11, pp. 226-235.
• [112] Wolfe P.: Convergence conditions for ascent methods. II: Some corrections. SIAM Review, 1971, Vol. 13, pp. 185-188.
• [113] Ypma T.J.: Historical Development of the Newton-Raphson Method. SIAM Review, 1995, Vol. 37, pp. 531-551.
• [114] Törn A., Žilinskas A.: Global Optimization. Berlin, Heidelberg, Springer Verlag, 1989.
• [115] Zoutendijk G.: Nonlinear Programming, Computational Methods. In: Abadie J., ed.: Integer and Nonlinear Programming, Amsterdam, North-Holland, 1970, pp. 37-86.