Можливості використання HADOOP і R для аналізу великих масивів геопросторових даних
DOI:
https://doi.org/10.31649/1681-7893-2022-44-2-49-54Ключові слова:
«великі дані», геопросторові дані, логічна операція, Hadoop, мова RАнотація
Проаналізовані основні проблеми пов’язані з обробкою Big Data, зокрема масивів, що містять геопросторові дані. Розглянуто платформу Hadoop, як один з базових підходів до аналізу великих масивів даних та можливості її інтеграції з середовищем R. Проаналізовано потенційні можливості використання платформи Hadoop для вирішення практичних задач в процесі аналізу геопросторових та просторово-часових даних
Посилання
Li DR Theory and Application of Spatial Data Mining (fisrt edition) / DR Li, SLWang, DY Li. - Beijing: Science Press, 2006. - 344 p.
Roberts, D.R.; Bahn, V.; Ciuti, S.; Boyce, M.S.; Elith, J.; Guillera-Arroita, G.; Hauenstein, S.; Lahoz-Monfort, J.J.; Schröder, B.; Thuiller, W.; et al. Cross-validation strategies for data with temporal, spatial, hierarchical, or phylogenetic structure. Ecography 2017, 40, 913–929.
Jhummarwala A. Parallel and Distributed GIS for Processing Geo-data: An Overview / A. Jhummarwala, MB Potdar, P. Chauhan // International Journal of Computer Applications. - 2014. - Vol. 106.–No.16. - R. 9-16.
Guhaniyogi R, Banerjee S. Multivariate spatial meta kriging. Stat Probab Lett. 2019;144:3–8.
Kousar H, Babu BP. Multi-Agent based MapReduce Model for Efficient Utilization of System Resources. Indones JElectr Eng Comput sci. 2018;11(2):504–514.
Grossner K. Defining a digital earth system. / K. Grossner, M. Goodchild, K. Clarke // Transactions in GIS. - 2008. - Vol. 12. - No 1. - R. 145-160.
Zhang L, Datta A, Banerjee S. Practical Bayesian modeling and inference for massive spatial data sets on modest computing environments. Stat Anal Data Min. 2019;12(3):197–209.
Lee XJ, Hainy M, McKeone JP, Drovandi CC, Pettitt AN. ABC model selection for spatial extremes models applied to South Australian maximum temperature data. Comput Stat Data Anal. 2018;128:128–144.
Izbicki R, Lee AB, Pospisil T. ABC–CDE: Toward Approximate Bayesian Computation With Complex HighDimensional Data and Limited Simulations. J Comput Graph Stat. 2019;p. 1–20.
White T. Hadoop: Definitive Guide. – 3nd edition. - Sebastopol: O'Reilly Media, 2012. - 688 p.
Holmes A. Hadoop in practice 2nd edition / A. Holmes. - New Jersey: Manning Publications, 2014. - 512 p.
Prajapati V. Big data analysis with R and Hadoop / V. Prajapati. – Birmingham: Pakt Publishing. - 2013. - 238
Oancea B. Integrative R and Hadoop for Great Data Analysis / B. Oancea, RM Dragoescu // Romanian Statistical Review. - 2014. - Vol. 2, no. 2 - R. 83-94.
Mazin A. Geo-book Big Data Mining Techniques / A. Mazin, A. Jhummarwala, MB Potdar // International Journal of Computer Applications. - 2016. - Vol. 135th – No.16. - R. 9-16.
CaryA. Cary, Z. Sun, V. Christidis, N. Rishe // Scientific and statistical database management Conference. A. Experiences on processing patial data with mapreduce. - 2009. - R. 302-319.
Vatsavai RR . Daily transit time in the era of big short-term data: algorithms and applications / RR Vatsavai, A. Ganguly, V. Chandola, A. Stefanidis, S. Klasky, S. Shekhar // 1st ACM SIGSPATIAL International Workshop on Analytics for Big Geospatial Data. - 2012. - R. 1-10.
Yin H.-M. Modeling for geospatial database of national fundamental geographic information / H.-M. Yin, S.-W. Su // Geoscience and Remote Sensing Symposium. - 2006. - R. 865 - 868.
Chang BR Development of multiple big data analytics Platforms with Rapid Response / В.R. Chang, Y.-D. Lee, Liao P.-N. // Hindawi Scientific Programming - 2017. - Vol. 1, no. 12 - P.143-155.
Olexander N. Romanyuk, and etc. "A function-based approach to real-time visualization using graphics processing units", Proc. SPIE 11581, Photonics Applications in Astronomy, Communications, Industry, and High Energy Physics Experiments 2020, 115810E (14 October 2020).
L.I. Timchenko, N.I. Kokriatskaia, S.V. Pavlov, and etc. "Q-processors for real-time image processing", Proc. SPIE 11581, Photonics Applications in Astronomy, Communications, Industry, and High Energy Physics Experiments 2020, 115810F (14 October 2020).
Intellectual Technologies in Medical Diagnosis, Treatment and Rehabilitation: monograph / [S. In Pavlov, O.G. Avrunin, S.M. Zlepko, E.V. Bodyanskyi, etc.]; edited by S. Pavlov, O. Avrunin. - Vinnytsia: PP "TD "Edelveiss and K", 2019. -260 p. ISBN 978-617-7237-59-3
Intelligent Technologies of Computer Planning and Modeling in Medical Diagnosis, Treatment and Rehabilitation: monograph // edited by S.V. Pavlov, O.G. Avrunin, O.V. Hrushko - Zhytomyr: "Euro-Volyn" PE, 2021. - 202 p. ISBN 978-617-7992-15-7.
##submission.downloads##
-
pdf (English)
Завантажень: 111
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:- Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
- Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
- Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).
