Optymalizacja modeli neuronowych na przykładzie oceny aktywności biologicznej związków chemicznych

• Autorzy: Szaleniec M. , Tadeusiewicz R. , Skoczowski A.

Warianty tytułu

EN

Optimization of neural models using evaluation of biological activity of chemical substances as an example

• Języki publikacji: PL

Abstrakty

PL

W pracy podjęto próbę przedstawienia wybranych problemów doboru i optymalizacji modelu w postaci sieci neuronowej do posiadanego zestawu danych empirycznych. Przykładowy problem dotyczył próby zbudowania sieci przewidującej na podstawie danych topologicznych i kwantowo-chemicznych aktywność pewnej klasy związków chemicznych, jednak szczegóły chemiczne rozwiązywanego problemu nie miały tu zasadniczego znaczenia. Z punktu widzenia tej pracy ważne było, że rozwiązywany problem był trudny, a ponadto charakteryzował się szeregiem cech, które wyjątkowo często pojawiają się przy praktycznym stosowaniu sieci neuronowych: zadanie wymagało brania pod uwagę (w charakterze potencjalnych sygnałów wejściowych) dużej liczby danych o zróżnicowanym charakterze (były tam dane ilościowe i jakościowe); istniało uzasadnione podejrzenie, że nie wszystkie dane wejściowe są równie przydatne przy rozwiązywaniu postawionego zadania, ale brak było dokładnych przesłanek, żeby dokonać ich wstępnej selekcji przed zbudowaniem neuronowego modelu; liczba przykładów, na bazie których można było sieć uczyć, a także dokonywać walidacji i testowania jej działania, była bardzo ograniczona. Przy takich założeniach przebadano przydatność szeregu różnych struktur i zasad działania sieci, uzyskując następujące ważniejsze wyniki: -stwierdzono, że jakość modelu uzyskiwanego przy zastosowaniu liniowej sieci neuronowej jest bardzo istotnie gorsza, niż jakość najlepszego uzyskanego modelu nieliniowego w postaci sieci MLP; wykazano, że wprowadzenie do sieci MLP liniowego neuronu w jej wyjściowej warstwie nie polepsza jakości uzyskiwanego rozwiązania; •zaobserwowano, że niewielkie zwiększenie liczby neuronów warstwy ukrytej (o jednen neuron!) może prowadzić do tego, że sieć zamiast budować model problemu, nadający się do rozwiązywania całej klasy zadań podobnego typu, zaczyna uczyć się ,,na pamięć" zbioru uczącego i traci zdolność do generalizacji; -stwierdzono, że użycie sieci GRNN nie przynosi dobrych rezultatów - uzyskiwane wyniki były nie tylko gorsze od tych. jakie wykazywała najlepsze siec MLP. ale co gorsza - plasowały się poniżej wyników, jakie dawała sieć liniowa; próba stworzenia sieci hybrydowej, wykorzystującej doświadczenia zdobyte podczas optymalizacji struktury MLP oraz zalety struktury GRNN doprowadziła do powstania modelu dobrze dopasowanego do większości posiadanych danych, ale w sposób zasadniczy odbiegającego od rzeczywistości w przypadku pewnej liczby danych doświadczalnych, co uznano za przesłankę do nie używania tego modelu w dalszych pracach; wykazano, że transformacja zadania regresyjnego (wymagającego, by sieć obliczyła i podała określoną wartość sygnału wyjściowego) do postaci zadania klasyfikacyjnego, w którym odpo­ wiedź sieci może być interpretowana jako decyzja, pozwala uzyskać najlepsze rezultaty, które w rozważanym problemie osiągnęły poziom 100% zgodności zachowania sieci z wymaganiami wynikającymi z natury rozwiązywanego zadania. Przytoczone wyżej spostrzeżenia i sformułowane na ich podstawie wnioski z całą pewnością są silnie uwarunkowane właściwościami konkretnego rozwiązywanego tu zdania. Jednak można sądzić, że z dużym prawdopodobieństwem podobne prawidłowości będą wiązały się z innymi zastosowaniami techniki sieci neuronowych - dlatego zebrano te spostrzeżenia i przedstawiono w tej publikacji w celu ułatwienia pracy innym badaczom, którzy zdecydują się w swojej pracy na użycie sieci neuronowych jako narzędzia modelowania zjawisk rzeczywistego świata.

EN

Neural networks (NNs) are tools that are very frequently successfully applied in the modeling of various phenomena and processes. This is due to combination of characteristic for NNs wide approximation capabilities (manifesting especially in nonlinear modeling tasks) with their flexibility and high performance in fitting the model to the real data during the learning process. Taken together these features make NNs one of the best modeling tools available. However, it is a common practice to achieve success with neural network technique in a modeling of particular system while confining the research only to neural model selection, optimization of parameters and validation of the NN performance goodness. Frequently, neural models predictions are analyzed and compared with other modeling techniques or other neural systems. In this paper we provide a complementary approach to the above-mentioned scheme. We took one non-trivial modeling task as an example (i.e. prediction of biological activity of chemical compounds based on their structure and properties) and studied various types of neural networks in order to determine the optimal type of NN, which deals with modeling problem in the most efficient way. We analyzed both linear and non-linear neural networks of MLP and GRNN type. In non-linear MLP systems the linear or non-linear output layers were tested. Moreover a hybrid neural system was developed that joins results of architecture optimization of MLP and GRNN. The paper addresses also the issue of input parameters selection, optimal number of hidden neurons and data representation, especially in terms of an output results. A dozen or so thousands of neural models were developed, providing a rich dataset for assessment of neural networks usefulness. It seems that such a comparative study can be of a high value for other researchers using neural systems in modeling studies. It should allow to chose a type and size of NN used based less on arbitrary and more on rational basis. Our results provide also better understanding into the character and cause-result relationship of processes that take place in neural networks.

Słowa kluczowe

PL

sieci neuronowe; sieci klasyfikacyjne; sieci regresyjne; sieci realizujące uogólnioną regresję; przewidywanie aktywności biologicznej

EN

GRNN; MLP

• Wydawca: Wydawnictwa AGH
• Czasopismo: Computer Methods in Materials Science
• Rocznik: 2006
• Tom: Vol. 6, No. 2
• Strony: 65--80
• Opis fizyczny: Bibliogr. 14 poz., rys.

Twórcy

autor

Szaleniec M.

autor

Tadeusiewicz R.

autor

Skoczowski A.

• Instytut Katalizy i Fizykochemii Powierzchni PAN, 30-239 Kraków, ul. Niezapominajek 8

Bibliografia

• Cigizoglu, H. K. Alp, M., 2006, Generalized regression neural network in modelling river sediment yield, Adv. Eng. Soft., 37,63-68.
• Fogelman, S., Blumenstein, M., Zhao, H. 2006, Estimation of chemical oxygen demand by ultraviolet spectroscopic profiling and artificial neural networks, Neural Comput. Appl., 15, 107 203.
• Hartono. P.; Hashimoto, S., 2005, Learning with ensemble of linear perceptrons. Artificial Neural Networks: Formal Models and their Applications ICANN 2005 15th International Conference. Proceedings. Part II Lec. Notes Comp. Sci., eds, Duch, W., Kacprzyk, J., Oja, E., Zadrozny, S., Springer-Verlag, Berlin, 3697, 115 - 120.
• Hong, L., Chunsheng, Y., 2006, Specifying distributed multi agent systems in chemical reaction metaphor, Appl. Intell., 24, 155-168.
• Lang, B., 2005, Monotonic multi layer perceptron networks as universal approximators. Artificial Neural Networks: Formal Models and their Applications ICANN 2005 15th International Conference, Proceedings, Part II Lec. Notes Comp. Sci., eds, Duch, W., Kacprzyk, J., Oja, E., Zadrozny, S., Springer-Verlag, Berlin, 3697, 31-37.
• Mei, H., Zhou, Y., Liang, G., Zhiliang, L. 2005, Support vector machine applied in QSAR modeling, Chinese Sci. Bull., 50,2291-2296.
• Pianese, C., Arsie, L, Sorrentino, M., 2006, A procedure to enhance identification of recurrent neural networks for simulating air fuel ratio dynamics in SI engines, Eng. Appl. Artif. Intel, 19, 65 - 77.
• Plewczynski, D., Spieser, S.A.H., Koch, U., 2006, Assessing different classification methods for virtual screening, J. Chem. Inf. Mod., 46, 1098-1106.
• Raji, U. , Mashor, M. Y., Ali, A. N., Adom, A. H., Sadullah, A. F., 2005, HMLP, MLP and recurrent networks for carbon monoxide concentrations forecasting: a comparison studies, WSEAS Transactions on Systems, 4, 812 - 820.
• Szaleniec M., Goclon J., Witko M., Tadeusiewicz R., 2006a, Application of artificial neural networks and DFT-based parameters for prediction of reaction kinetics of ethyl-benzene dehydrogenase, J. Comput., Aid. Mol. Des., 20, 1573-4951.
• Szaleniec M., Witko M., Tadeusiewicz R., 2006b, Prediction of the ethylbenzene dehydrogenase reaction kinetics by comparative molecular field analysis (COMFA) and artificial neural network's systems basing on DFT parameters. Materiały XXXVIII Ogólnopolskiego Kolokwium Katalitycznego, ed, Mokrzycki L., Instytut Katalizy i Fizykochemii Powierzchni PAN, Kraków, 215-217.
• Weiss, V., Schölkopf B., Platt J., eds, 2006, Advances in Neural Information Processing Systems 18, The MIT Press, Cambridge.
• Yixing, L., Yuzhang, W., Shilie, W., Yonghong, W., 2006, Application of artificial neural network in countercurrent spray saturator, Advances in Neural Networks ISNN 2006. Proc. 3rd Int. Symp. on Neural Networks, Lec. Notes Comp. Sci., eds, Wang, J., Yi, Z., Zurada, J.M., Lu, B. L., Yin, H., Springer-Verlag, Berlin, 3973, 1277 -1282.
• Zhang, J., Sun, J., 2004, Automatic classification of MRI images for three dimensional volume reconstruction by using general regression neural networks, Conf. Rec. 2003 IEEE Nuc. Sci. Sym., 5, 3188 -3189.