Estimating aesthetic value of images with convolutional neural networks

• Autorzy: Suchecki M. , Trzciński T.

Identyfikatory

DOI

10.15199/13.2018.4.5

Warianty tytułu

PL

Ocena wartości estetycznej zdjęć przy użyciu splotowych sieci neuronowych

• Języki publikacji: EN

Abstrakty

EN

Evaluating aesthetic value of digital photographs is a challenging task, mainly due to the subjective manner of the process. In this paper, we propose to approach this problem using deep convolutional neural networks. Using a dataset of over 1.7 million photos collected from Flickr, we train and evaluate a deep learning model whose goal is to classify photographs by analysing their aesthetics. The result of this work is a system that can be used e.g. to improve the workflow of professional photographers by preselecting the best photos.

PL

Ocena estetyki zdjęć cyfrowych jest trudnym zadaniem, głównie ze względu na jego subiektywność. W niniejszym artykule proponujemy podejście do problemu za pomocą głebokich splotowych sieci neuronowych. Ze zbioru ponad 1,7 miliona zdjęć z platformy Flickr, trenujemy model, którego celem jest klasyfikacja fotografii poprzez analizę ich estetyki. Rezultatem jest system, który może być używany np. aby usprawnić pracę profesjonalnych fotografów poprzez wstępne wybranie najlepszych zdjęć.

Słowa kluczowe

EN

deep learning; photography; aesthetics; convolutional neural networks; quality assessment

PL

uczenie głębokie; fotografia; estetyka; splotowe sieci neuronowe; ocena jakości

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Elektronika : konstrukcje, technologie, zastosowania
• Rocznik: 2018
• Tom: Vol. 59, nr 4
• Strony: 24--29
• Opis fizyczny: Bibliogr. 13 poz., rys.

Twórcy

autor

Suchecki M.

• Faculity of Electronics and Information Technology, Warszaw Uniwersity of Technology, Nowowiejska 15/19, 00-665 Warsaw, Poland

autor

Trzciński T.

• Faculity of Electronics and Information Technology, Warszaw Uniwersity of Technology, Nowowiejska 15/19, 00-665 Warsaw, Poland

Bibliografia

• [1] Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K., and Fei-Fei, L. (2009). Imagenet: A large-scale hierarchical image database. In Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on, pages 248-255. IEEE.
• [2] Deng, Y., Loy, C. C., and Tang, X. (2016). Image aesthetic assessment: An experimental survey. arXiv preprint arXiv:1610.00838.
• [3] Gelli, F., Uricchio, T., Bertini, M., Del Bimbo, A., and Chang, S.-F. (2015). Image popularity prediction in social media using sentiment and context features. In Proceedings of the 23rd ACM international conference on Multimedia, pages 907-910. ACM.
• [4] He, K., Zhang, X., Ren, S., and Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 770-778.
• [5] Karayev, S., Trentacoste, M., Han, H., Agarwala, A., Darrell, T., Hertzmann, A., and Winnemoeller, H. (2013). Recognizing image style. arXiv preprint arXiv:1311.3715.
• [6] Khosla, A., Das Sarma, A., and Hamid, R. (2014). What makes an image popular? In International World Wide Web Conference, pp. 867-876.
• [7] Kirzhevsky, A., Sutskever, I., and Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems, pages 1097-1105.
• [8] LeCun, Y., Bottou, L., Bengio, Y., and Haffner, P. (1998). Gradient- based learning applied to document recognition. Proceedings of the IEEE, 86(11):2278-2324.
• [9] Malu, G., Bapi, R. S., & Indurkhya, B. (2017). Learning Photography Aesthetics with Deep CNNs. arXiv preprint arXiv:1707.03981.
• [10] Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., Huang, Z., Karpathy, A., Khosla, A., Bernstein, M., Berg, A. C., and Fei-Fei, L. (2015). ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision (IJCV), 115(3):211-252.
• [11] Shaji, A. (2016). Understanding aesthetics with deep learning.
• [12] Szabo, G. and Huberman, B. A. (2010). Predicting the popularity of online content. Communications of the ACM, 53(8):80-88.
• [13] Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., Erhan, D., Vanhoucke, V., and Rabinovich, A. (2015). Going deeper with convolutions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1-9.

Uwagi

Opracowanie rekordu w ramach umowy 509/P-DUN/2018 ze środków MNiSW przeznaczonych na działalność upowszechniającą naukę (2018).