Practical Aspects of Forming Training/Test Samples for Convolutional Neural Networks
DOI:
https://doi.org/10.31649/1681-7893-2022-43-1-24-35Keywords:
Computer Vision, Convolutional Neural Network, CNN, Deep Learning, Image Classification, Image UnderstandingAbstract
The most common approaches to assessing the quality of training neural networks in the context of the problem of "small training sets" are analyzed. A review of the code implementation of the most universal approaches and ways of extending training/testing samples is carried out. The logic of the work of STN-module is analyzed. It can be inserted into existing convolutional architectures, giving neural networks the ability to actively spatially transform feature maps, conditional on the feature map itself, without any extra training supervision or modification to the optimization process.
References
Krizhevsky A., Imagenet classification with deep convolutional neural networks [Electronic resource] / A.Krizhevsky, l. Sutskever, G. Hinton – 2012. – Access Mode: https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
Szegedy C. Going deeper with convolutions [Electronic resource] / C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, A. Rabinovich – 2015. – Access Mode: https://arxiv.org/pdf/1409.4842.pdf
Zeiler M.D. Stochastic pooling for regularization of deep convolutional neural networks [Electronic resource] / M. D. Zeiler, R. Fergus – 2015. – Access Mode: https://arxiv.org/pdf/1301.3557.pdf
Mahendran A. Understanding deep image representations by inverting them networks [Electronic resource] / A. Mahendran, A. Vedaldi – 2015. – Access Mode: https://arxiv.org/ pdf/1312.4400.pdf
Huang C. A Diffusion-Neural-Network for Learning from Small Samples/ С. Huang, С. Moraga // International Journal of Approximate Reasoning. – 2004. – V. 35 P. 137–161.
Wang J. The Effectiveness of Data Augmentation in Image Classification using Deep Learning networks [Electronic resource] / Wang J., Perez L. Vedaldi – 2017. – Access Mode: http://cs231n.stanford.edu/reports/2017/pdfs/300.pdf
Canavet O. Efficient sample mining for object detection / O. Canavet, F. Fleuret // Proceedings of the Asian Conference on Machine Learning (ACML) – 2014 – P. 48-63.
Srivastana N. A Simple Way to Prevent Neural Networks From Overlifting / N. Srivastana, G. Hinton, A. Krizhevsky та ін.]. // The Journal of Machine Learning Research. – 2014. – Vol. 15, №1. – С. 1929–1958.
Amazon Mechanical Turk (MTurk) [Electronic resource] – Access Mode: https://www.mturk.com/.
Cires¸an D. Multi-column Deep Neural Networks for Image Classification [Electronic resource] / D. Cires¸an, U. Meier, J. Schmidhuber. – 2012. – Access Mode: https://arxiv.org/pdf/1202.2745.pdf.
LeCun Y. Traffic Sign Recognition with Multi-Scale Convolutional Networks [Electronic resource] / Y. LeCun, P. Sermanet – Access Mode: http://yann.lecun.com/exdb/publis/pdf/sermanet-ijcnn-11.pdf.
German Traffic Sign Recognition Benchmark [Electronic resource] – Access Mode: http:/benchmark.ini.rub.de/?section=gtsrb&subsection=dataset
Traffic Sign Recognition with CNN: Tools for Image Preprocessing [Electronic resource]. - 2017. - Access mode: https://habrahabr.ru/company/newprolab/blog/334618/.
Jaderberg M. Spatial Transformer Networks [Electronic resource] / M.Jaderberg, K. Simonyan, A. Zisserman, K. Kavukcuoglu. – 2016. – Access Mode: https://arxiv.org/pdf/1506.02025.pdf.
Class Imbalance Problem [Electronic resource]. – 2013. – Access Mode: http://www.chioka.in/class-imbalance-problem/.
Spearman's rank correlation coefficient [Electronic resource] – Access Mode: https://en.wikipedia.org /wiki/Spearman%27s_rank_correlation_coefficient.
Zuiderveld K. Contrast Limited Adaptive Histograph Equalization / Karel Zuiderveld. // Graphic Gems IV. San Diego: Academic Press Professional. – 1994. – С. 474–485.
Danilyuk K. ConvNets Series. Image Processing: Tools of the Trade [Electronic resource] / Kiril Danilyuk. – 2017. – Access Mode: https://towardsdatascience.com/convnets-series-image-processing-tools-of-the-trade-36e168836f0c.
Traffic sign recognition with CNN: Spatial Transformer Networks [Electronic resource]. - 2017. - Access Mode: https://habrahabr.ru/company/newprolab/blog/339484/.
СS231n Convolutional Neural Networks for Visual Recognition [Electronic resource] – Access Mode: http://cs231n.github.io/classification/.
Zakka K. Deep Learning Paper Implementations: Spatial Transformer Networks [Electronic resource] / Kevin Zakka. – 2017. – Access Mode: https://kevinzakka.github.io/2017/01/18/stn-part2/.
The MNIST - Database of handwritten digits [Electronic resource] – Access Mode: http://yann.lecun.com/exdb/mnist/.
Traffic sign recognition with Torch [Electronic resource]. – 2015. – Access Mode: https://github.com/Moodstocks/gtsrb.torch.
Vanishing gradient problem [Electronic resource] – Access Mode: https://en.wikipedia.org/ wiki/Vanishing_gradient_problem.
Olexander N. Romanyuk, Sergii V. Pavlov, and etc. "A function-based approach to real-time visualization using graphics processing units", Proc. SPIE 11581, Photonics Applications in Astronomy, Communications, Industry, and High Energy Physics Experiments 2020, 115810E (14 October 2020); https://doi.org/10.1117/12.2580212.
Leonid I. Timchenko, Natalia I. Kokriatskaia, Sergii V. Pavlov, and etc. "Q-processors for real-time image processing", Proc. SPIE 11581, Photonics Applications in Astronomy, Communications, Industry, and High Energy Physics Experiments 2020, 115810F (14 October 2020); https://doi.org/10.1117/12.2580230
Downloads
-
PDF
Downloads: 110
Published
How to Cite
Issue
Section
License
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:- Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
- Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
- Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).
