Практичні аспекти формування навчальних/тестових вибірок для згорткових нейронних мереж
DOI:
https://doi.org/10.31649/1681-7893-2022-43-1-24-35Ключові слова:
комп’ютерний зір, згорточна нейронна мережа, CNN, глибоке навчання, класифікація зображень, розуміння зображеньАнотація
Проаналізовані найбільш поширені підходи до оцінки якості навчання нейронних мереж у розрізі проблеми «малих навчальних вибірок». Проведений огляд кодових імплементацій найбільш універсальних підходів та способів розширення навчальних/тестових вибірок. Розглянуто логіку роботи STN-модуля, що може бути інкапсульований в існуючі згорткові нейронні мережі (СNN), надаючи можливість активного перетворення мапи ознак без додаткового навчання або модифікації процесу навчання.
Посилання
Krizhevsky A., Imagenet classification with deep convolutional neural networks [Electronic resource] / A.Krizhevsky, l. Sutskever, G. Hinton – 2012. – Access Mode: https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
Szegedy C. Going deeper with convolutions [Electronic resource] / C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, A. Rabinovich – 2015. – Access Mode: https://arxiv.org/pdf/1409.4842.pdf
Zeiler M.D. Stochastic pooling for regularization of deep convolutional neural networks [Electronic resource] / M. D. Zeiler, R. Fergus – 2015. – Access Mode: https://arxiv.org/pdf/1301.3557.pdf
Mahendran A. Understanding deep image representations by inverting them networks [Electronic resource] / A. Mahendran, A. Vedaldi – 2015. – Access Mode: https://arxiv.org/ pdf/1312.4400.pdf
Huang C. A Diffusion-Neural-Network for Learning from Small Samples/ С. Huang, С. Moraga // International Journal of Approximate Reasoning. – 2004. – V. 35 P. 137–161.
Wang J. The Effectiveness of Data Augmentation in Image Classification using Deep Learning networks [Electronic resource] / Wang J., Perez L. Vedaldi – 2017. – Access Mode: http://cs231n.stanford.edu/reports/2017/pdfs/300.pdf
Canavet O. Efficient sample mining for object detection / O. Canavet, F. Fleuret // Proceedings of the Asian Conference on Machine Learning (ACML) – 2014 – P. 48-63.
Srivastana N. A Simple Way to Prevent Neural Networks From Overlifting / N. Srivastana, G. Hinton, A. Krizhevsky та ін.]. // The Journal of Machine Learning Research. – 2014. – Vol. 15, №1. – С. 1929–1958.
Amazon Mechanical Turk (MTurk) [Electronic resource] – Access Mode: https://www.mturk.com/.
Cires¸an D. Multi-column Deep Neural Networks for Image Classification [Electronic resource] / D. Cires¸an, U. Meier, J. Schmidhuber. – 2012. – Access Mode: https://arxiv.org/pdf/1202.2745.pdf.
LeCun Y. Traffic Sign Recognition with Multi-Scale Convolutional Networks [Electronic resource] / Y. LeCun, P. Sermanet – Access Mode: http://yann.lecun.com/exdb/publis/pdf/sermanet-ijcnn-11.pdf.
German Traffic Sign Recognition Benchmark [Electronic resource] – Access Mode: http:/benchmark.ini.rub.de/?section=gtsrb&subsection=dataset
Traffic Sign Recognition with CNN: Tools for Image Preprocessing [Electronic resource]. - 2017. - Access mode: https://habrahabr.ru/company/newprolab/blog/334618/.
Jaderberg M. Spatial Transformer Networks [Electronic resource] / M.Jaderberg, K. Simonyan, A. Zisserman, K. Kavukcuoglu. – 2016. – Access Mode: https://arxiv.org/pdf/1506.02025.pdf.
Class Imbalance Problem [Electronic resource]. – 2013. – Access Mode: http://www.chioka.in/class-imbalance-problem/.
Spearman's rank correlation coefficient [Electronic resource] – Access Mode: https://en.wikipedia.org /wiki/Spearman%27s_rank_correlation_coefficient.
Zuiderveld K. Contrast Limited Adaptive Histograph Equalization / Karel Zuiderveld. // Graphic Gems IV. San Diego: Academic Press Professional. – 1994. – С. 474–485.
Danilyuk K. ConvNets Series. Image Processing: Tools of the Trade [Electronic resource] / Kiril Danilyuk. – 2017. – Access Mode: https://towardsdatascience.com/convnets-series-image-processing-tools-of-the-trade-36e168836f0c.
Traffic sign recognition with CNN: Spatial Transformer Networks [Electronic resource]. - 2017. - Access Mode: https://habrahabr.ru/company/newprolab/blog/339484/.
СS231n Convolutional Neural Networks for Visual Recognition [Electronic resource] – Access Mode: http://cs231n.github.io/classification/.
Zakka K. Deep Learning Paper Implementations: Spatial Transformer Networks [Electronic resource] / Kevin Zakka. – 2017. – Access Mode: https://kevinzakka.github.io/2017/01/18/stn-part2/.
The MNIST - Database of handwritten digits [Electronic resource] – Access Mode: http://yann.lecun.com/exdb/mnist/.
Traffic sign recognition with Torch [Electronic resource]. – 2015. – Access Mode: https://github.com/Moodstocks/gtsrb.torch.
Vanishing gradient problem [Electronic resource] – Access Mode: https://en.wikipedia.org/ wiki/Vanishing_gradient_problem.
Olexander N. Romanyuk, Sergii V. Pavlov, and etc. "A function-based approach to real-time visualization using graphics processing units", Proc. SPIE 11581, Photonics Applications in Astronomy, Communications, Industry, and High Energy Physics Experiments 2020, 115810E (14 October 2020); https://doi.org/10.1117/12.2580212.
Leonid I. Timchenko, Natalia I. Kokriatskaia, Sergii V. Pavlov, and etc. "Q-processors for real-time image processing", Proc. SPIE 11581, Photonics Applications in Astronomy, Communications, Industry, and High Energy Physics Experiments 2020, 115810F (14 October 2020); https://doi.org/10.1117/12.2580230
##submission.downloads##
-
PDF (English)
Завантажень: 110
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:- Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
- Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
- Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).