Практичні аспекти формування навчальних/тестових вибірок для згорткових нейронних мереж

Автор(и)

  • Ю.Я. Томка Чернівецький національний університет імені Юрія Федьковича
  • М.В. Талах Чернівецький національний університет імені Юрія Федьковича
  • В.В. Дворжак Чернівецький національний університет імені Юрія Федьковича
  • О.Г. Ушенко Чернівецький національний університет імені Юрія Федьковича

DOI:

https://doi.org/10.31649/1681-7893-2022-43-1-24-35

Ключові слова:

комп’ютерний зір, згорточна нейронна мережа, CNN, глибоке навчання, класифікація зображень, розуміння зображень

Анотація

Проаналізовані найбільш поширені підходи до оцінки якості навчання нейронних мереж у розрізі проблеми «малих навчальних вибірок». Проведений огляд кодових імплементацій найбільш універсальних підходів та способів розширення навчальних/тестових вибірок. Розглянуто логіку роботи STN-модуля, що може бути інкапсульований в існуючі згорткові нейронні мережі (СNN), надаючи можливість активного перетворення мапи ознак без додаткового навчання або модифікації процесу навчання.

Біографії авторів

Ю.Я. Томка, Чернівецький національний університет імені Юрія Федьковича

Ph.D., assistant professor of Computer Science Department

М.В. Талах, Чернівецький національний університет імені Юрія Федьковича

Ph.D., assistant professor of Computer Science Department

В.В. Дворжак, Чернівецький національний університет імені Юрія Федьковича

Ph.D., assistant professor of Computer Science Department

О.Г. Ушенко, Чернівецький національний університет імені Юрія Федьковича

D.Sc., Professor, Head of Optics and Publishing Department

Посилання

Krizhevsky A., Imagenet classification with deep convolutional neural networks [Electronic resource] / A.Krizhevsky, l. Sutskever, G. Hinton – 2012. – Access Mode: https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

Szegedy C. Going deeper with convolutions [Electronic resource] / C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, A. Rabinovich – 2015. – Access Mode: https://arxiv.org/pdf/1409.4842.pdf

Zeiler M.D. Stochastic pooling for regularization of deep convolutional neural networks [Electronic resource] / M. D. Zeiler, R. Fergus – 2015. – Access Mode: https://arxiv.org/pdf/1301.3557.pdf

Mahendran A. Understanding deep image representations by inverting them networks [Electronic resource] / A. Mahendran, A. Vedaldi – 2015. – Access Mode: https://arxiv.org/ pdf/1312.4400.pdf

Huang C. A Diffusion-Neural-Network for Learning from Small Samples/ С. Huang, С. Moraga // International Journal of Approximate Reasoning. – 2004. – V. 35 P. 137–161.

Wang J. The Effectiveness of Data Augmentation in Image Classification using Deep Learning networks [Electronic resource] / Wang J., Perez L. Vedaldi – 2017. – Access Mode: http://cs231n.stanford.edu/reports/2017/pdfs/300.pdf

Canavet O. Efficient sample mining for object detection / O. Canavet, F. Fleuret // Proceedings of the Asian Conference on Machine Learning (ACML) – 2014 – P. 48-63.

Srivastana N. A Simple Way to Prevent Neural Networks From Overlifting / N. Srivastana, G. Hinton, A. Krizhevsky та ін.]. // The Journal of Machine Learning Research. – 2014. – Vol. 15, №1. – С. 1929–1958.

Amazon Mechanical Turk (MTurk) [Electronic resource] – Access Mode: https://www.mturk.com/.

Cires¸an D. Multi-column Deep Neural Networks for Image Classification [Electronic resource] / D. Cires¸an, U. Meier, J. Schmidhuber. – 2012. – Access Mode: https://arxiv.org/pdf/1202.2745.pdf.

LeCun Y. Traffic Sign Recognition with Multi-Scale Convolutional Networks [Electronic resource] / Y. LeCun, P. Sermanet – Access Mode: http://yann.lecun.com/exdb/publis/pdf/sermanet-ijcnn-11.pdf.

German Traffic Sign Recognition Benchmark [Electronic resource] – Access Mode: http:/benchmark.ini.rub.de/?section=gtsrb&subsection=dataset

Traffic Sign Recognition with CNN: Tools for Image Preprocessing [Electronic resource]. - 2017. - Access mode: https://habrahabr.ru/company/newprolab/blog/334618/.

Jaderberg M. Spatial Transformer Networks [Electronic resource] / M.Jaderberg, K. Simonyan, A. Zisserman, K. Kavukcuoglu. – 2016. – Access Mode: https://arxiv.org/pdf/1506.02025.pdf.

Class Imbalance Problem [Electronic resource]. – 2013. – Access Mode: http://www.chioka.in/class-imbalance-problem/.

Spearman's rank correlation coefficient [Electronic resource] – Access Mode: https://en.wikipedia.org /wiki/Spearman%27s_rank_correlation_coefficient.

Zuiderveld K. Contrast Limited Adaptive Histograph Equalization / Karel Zuiderveld. // Graphic Gems IV. San Diego: Academic Press Professional. – 1994. – С. 474–485.

Danilyuk K. ConvNets Series. Image Processing: Tools of the Trade [Electronic resource] / Kiril Danilyuk. – 2017. – Access Mode: https://towardsdatascience.com/convnets-series-image-processing-tools-of-the-trade-36e168836f0c.

Traffic sign recognition with CNN: Spatial Transformer Networks [Electronic resource]. - 2017. - Access Mode: https://habrahabr.ru/company/newprolab/blog/339484/.

СS231n Convolutional Neural Networks for Visual Recognition [Electronic resource] – Access Mode: http://cs231n.github.io/classification/.

Zakka K. Deep Learning Paper Implementations: Spatial Transformer Networks [Electronic resource] / Kevin Zakka. – 2017. – Access Mode: https://kevinzakka.github.io/2017/01/18/stn-part2/.

The MNIST - Database of handwritten digits [Electronic resource] – Access Mode: http://yann.lecun.com/exdb/mnist/.

Traffic sign recognition with Torch [Electronic resource]. – 2015. – Access Mode: https://github.com/Moodstocks/gtsrb.torch.

Vanishing gradient problem [Electronic resource] – Access Mode: https://en.wikipedia.org/ wiki/Vanishing_gradient_problem.

Olexander N. Romanyuk, Sergii V. Pavlov, and etc. "A function-based approach to real-time visualization using graphics processing units", Proc. SPIE 11581, Photonics Applications in Astronomy, Communications, Industry, and High Energy Physics Experiments 2020, 115810E (14 October 2020); https://doi.org/10.1117/12.2580212.

Leonid I. Timchenko, Natalia I. Kokriatskaia, Sergii V. Pavlov, and etc. "Q-processors for real-time image processing", Proc. SPIE 11581, Photonics Applications in Astronomy, Communications, Industry, and High Energy Physics Experiments 2020, 115810F (14 October 2020); https://doi.org/10.1117/12.2580230

##submission.downloads##

Переглядів анотації: 110

Опубліковано

2022-12-28

Як цитувати

[1]
Ю. Томка, М. Талах, В. Дворжак, і О. Ушенко, «Практичні аспекти формування навчальних/тестових вибірок для згорткових нейронних мереж», Опт-ел. інф-енерг. техн., вип. 43, вип. 1, с. 24–35, Груд 2022.

Номер

Том 43 № 1 (2022)

Розділ

Системи технічного зору і штучного інтелекту з обробкою та розпізнаванням зображень

Метрики

Завантаження

Дані завантаження ще не доступні.

Ліцензія

Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:

  1. Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
  2. Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
  3. Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).

Статті цього автора (авторів), які найбільше читають

1 2 > >>