Possibilities of using HADOOP and R to analyze large arrays of geospatial data
DOI:
https://doi.org/10.31649/1681-7893-2022-44-2-49-54Keywords:
Big Data, geospatial data, логічна операція, Hadoop, R languageAbstract
The main problems associated with the processing of Big Data, in particular arrays containing geospatial data, are analyzed. The Hadoop platform is considered one of the basic approaches to the analysis of large data arrays and the possibility of its integration with the R environment. The potential possibilities of using the Hadoop platform for solving practical problems in the process of analyzing geospatial and spatiotemporal data are analyzed
References
Li DR Theory and Application of Spatial Data Mining (fisrt edition) / DR Li, SLWang, DY Li. - Beijing: Science Press, 2006. - 344 p.
Roberts, D.R.; Bahn, V.; Ciuti, S.; Boyce, M.S.; Elith, J.; Guillera-Arroita, G.; Hauenstein, S.; Lahoz-Monfort, J.J.; Schröder, B.; Thuiller, W.; et al. Cross-validation strategies for data with temporal, spatial, hierarchical, or phylogenetic structure. Ecography 2017, 40, 913–929.
Jhummarwala A. Parallel and Distributed GIS for Processing Geo-data: An Overview / A. Jhummarwala, MB Potdar, P. Chauhan // International Journal of Computer Applications. - 2014. - Vol. 106.–No.16. - R. 9-16.
Guhaniyogi R, Banerjee S. Multivariate spatial meta kriging. Stat Probab Lett. 2019;144:3–8.
Kousar H, Babu BP. Multi-Agent based MapReduce Model for Efficient Utilization of System Resources. Indones JElectr Eng Comput sci. 2018;11(2):504–514.
Grossner K. Defining a digital earth system. / K. Grossner, M. Goodchild, K. Clarke // Transactions in GIS. - 2008. - Vol. 12. - No 1. - R. 145-160.
Zhang L, Datta A, Banerjee S. Practical Bayesian modeling and inference for massive spatial data sets on modest computing environments. Stat Anal Data Min. 2019;12(3):197–209.
Lee XJ, Hainy M, McKeone JP, Drovandi CC, Pettitt AN. ABC model selection for spatial extremes models applied to South Australian maximum temperature data. Comput Stat Data Anal. 2018;128:128–144.
Izbicki R, Lee AB, Pospisil T. ABC–CDE: Toward Approximate Bayesian Computation With Complex HighDimensional Data and Limited Simulations. J Comput Graph Stat. 2019;p. 1–20.
White T. Hadoop: Definitive Guide. – 3nd edition. - Sebastopol: O'Reilly Media, 2012. - 688 p.
Holmes A. Hadoop in practice 2nd edition / A. Holmes. - New Jersey: Manning Publications, 2014. - 512 p.
Prajapati V. Big data analysis with R and Hadoop / V. Prajapati. – Birmingham: Pakt Publishing. - 2013. - 238
Oancea B. Integrative R and Hadoop for Great Data Analysis / B. Oancea, RM Dragoescu // Romanian Statistical Review. - 2014. - Vol. 2, no. 2 - R. 83-94.
Mazin A. Geo-book Big Data Mining Techniques / A. Mazin, A. Jhummarwala, MB Potdar // International Journal of Computer Applications. - 2016. - Vol. 135th – No.16. - R. 9-16.
CaryA. Cary, Z. Sun, V. Christidis, N. Rishe // Scientific and statistical database management Conference. A. Experiences on processing patial data with mapreduce. - 2009. - R. 302-319.
Vatsavai RR . Daily transit time in the era of big short-term data: algorithms and applications / RR Vatsavai, A. Ganguly, V. Chandola, A. Stefanidis, S. Klasky, S. Shekhar // 1st ACM SIGSPATIAL International Workshop on Analytics for Big Geospatial Data. - 2012. - R. 1-10.
Yin H.-M. Modeling for geospatial database of national fundamental geographic information / H.-M. Yin, S.-W. Su // Geoscience and Remote Sensing Symposium. - 2006. - R. 865 - 868.
Chang BR Development of multiple big data analytics Platforms with Rapid Response / В.R. Chang, Y.-D. Lee, Liao P.-N. // Hindawi Scientific Programming - 2017. - Vol. 1, no. 12 - P.143-155.
Olexander N. Romanyuk, and etc. "A function-based approach to real-time visualization using graphics processing units", Proc. SPIE 11581, Photonics Applications in Astronomy, Communications, Industry, and High Energy Physics Experiments 2020, 115810E (14 October 2020).
L.I. Timchenko, N.I. Kokriatskaia, S.V. Pavlov, and etc. "Q-processors for real-time image processing", Proc. SPIE 11581, Photonics Applications in Astronomy, Communications, Industry, and High Energy Physics Experiments 2020, 115810F (14 October 2020).
Intellectual Technologies in Medical Diagnosis, Treatment and Rehabilitation: monograph / [S. In Pavlov, O.G. Avrunin, S.M. Zlepko, E.V. Bodyanskyi, etc.]; edited by S. Pavlov, O. Avrunin. - Vinnytsia: PP "TD "Edelveiss and K", 2019. -260 p. ISBN 978-617-7237-59-3
Intelligent Technologies of Computer Planning and Modeling in Medical Diagnosis, Treatment and Rehabilitation: monograph // edited by S.V. Pavlov, O.G. Avrunin, O.V. Hrushko - Zhytomyr: "Euro-Volyn" PE, 2021. - 202 p. ISBN 978-617-7992-15-7.
Downloads
-
pdf
Downloads: 88
Published
How to Cite
Issue
Section
License
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:- Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
- Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
- Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).
