Методи денормалізації для сховищ даних IOT: балансування продуктивності запитів і надлишковості даних
DOI:
https://doi.org/10.31649/1681-7893-2025-49-1-72-81Ключові слова:
сховище даних інтернету речей, методи денормалізації, оптимізація запитів, стовпчасте сховище, стиснення даних, аналітика розумного дому, Azure Synapse, проектування схем, оптимізація продуктивності, надмірність данихАнотація
Стаття досліджує вплив технік денормалізації на продуктивність запитів у сховищах даних IoT, зберігаючи прийнятну надлишковість даних. Проведено аналіз нормалізованих і денормалізованих підходів у середовищі розумних будинків на базі Azure Synapse. Емпіричні тести (10 000–5 млн записів) показали, що стратегічна денормалізація разом із колонковим зберіганням покращує продуктивність до 94%. Аналіз чотирьох технік оптимізації (Join Reduction, Columnar Storage, Query Complexity Optimization, Temporal Scaling Optimization) показав, що денормалізація збільшує початкові вимоги до сховища на 16% (120 ГБ vs. 103,5 ГБ), але ефективне стиснення зменшує кінцевий розмір на 50,4% (17,1 ГБ vs. 34,5 ГБ). Дослідження пропонує рекомендації щодо балансування продуктивності та надлишковості даних у високошвидкісних IoT-середовищах.
IoT data warehouse, denormalization techniques, query optimization, columnar storage, data compression, smart home analytics, Azure Synapse, schema design, performance optimization, data redundancy
Посилання
Sawalha, S., & Al-Naymat, G. Towards an Efficient Big Data Management Schema for IoT. Journal of King Saud University - Computer and Information Sciences, 34(2), 2021. DOI:10.1016/j.jksuci.2021.09.013.
Shin, S., & Sanders, G. L. Denormalization Strategies for Data Retrieval from Data Warehouses. Decision Support Systems, 42(1), 2006, 267-282. DOI:10.1016/j.dss.2004.12.004.
Perera, S., Pinto, A., Sewmini, H., Ulugalathenne, A., Thelijjagoda, S., & Karunarathna, N. Influence of IoT on Warehouse Management Performance in the Global Context: A Critical Literature Review. 2nd International Conference on Sustainable & Digital Business (ICSDB), 2023.
Ejaz, M., Kumar, T., Ylianttila, M., & Harjula, E. Performance and Efficiency Optimization of Multi-layer IoT Edge Architecture. 2020 2nd 6G Wireless Summit (6G SUMMIT), 2020, Levi, Finland. DOI:10.1109/6GSUMMIT49458.2020.9083896.
Yu, T., & Wang, X. Real-Time Data Analytics in Internet of Things Systems. Handbook of Real-Time Computing, 2020, 1-28. Springer, Singapore. DOI:10.1007/978-981-4585-87-3_38-1.
Chaudhari, A. V., & Charate, P. A. Data Warehousing for IoT Analytics. International Research Journal of Engineering and Technology (IRJET), 11(6), 2024, 311-222. e-ISSN: 2395-0056, p-ISSN: 2395-0072.
Johnson, R., & Smith, P. Optimizing Data Warehouse Schemas for IoT Applications. IEEE Transactions on Big Data, 9(2), 2023, 145-160.
Martinez, A., & Lee, B. Performance Analysis of Denormalization Strategies in Modern Data Warehouses. Journal of Database Management, 35(1), 2024, 23-42.
Chen, H., Wang, L., & Zhang, K. IoT Data Management: Balancing Performance and Storage Efficiency. ACM Transactions on Database Systems, 48(3), 2023, 1-28.
Wilson, M., & Thompson, J. Real-Time Analytics in IoT Environments: Challenges and Solutions. Big Data Research, 31, 2023, 100294.
Kumar, S., & Singh, R. Modern Approaches to IoT Data Warehousing. International Journal of Data Management Systems, 12(1), 2024, 78-95.
##submission.downloads##
-
PDF (English)
Завантажень: 10
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:- Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
- Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
- Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).
