Denormalization techniques for IOT data warehouses: balancing query performance and data redundancy
DOI:
https://doi.org/10.31649/1681-7893-2025-49-1-72-81Keywords:
IoT data warehouse, denormalization techniques, query optimization, columnar storage, data compression, smart home analytics, Azure Synapse, schema design, performance optimization, data redundancyAbstract
This article explores the impact of denormalization techniques on query performance in IoT data warehouses while maintaining acceptable data redundancy. It analyzes normalized and denormalized approaches in a smart home IoT environment using Azure Synapse. Empirical testing (10,000–5 million records) shows that strategic denormalization combined with columnar storage optimization improves performance by up to 94%. Evaluating four key optimization techniques (Join Reduction, Columnar Storage, Query Complexity Optimization, Temporal Scaling Optimization), we find that denormalization initially increases storage needs by 16% (120 GB vs. 103.5 GB), but columnar compression reduces the final storage size by 50.4% (17.1 GB vs. 34.5 GB). The study provides practical insights into balancing query performance and data redundancy in high-speed IoT environments.
References
Sawalha, S., & Al-Naymat, G. Towards an Efficient Big Data Management Schema for IoT. Journal of King Saud University - Computer and Information Sciences, 34(2), 2021. DOI:10.1016/j.jksuci.2021.09.013.
Shin, S., & Sanders, G. L. Denormalization Strategies for Data Retrieval from Data Warehouses. Decision Support Systems, 42(1), 2006, 267-282. DOI:10.1016/j.dss.2004.12.004.
Perera, S., Pinto, A., Sewmini, H., Ulugalathenne, A., Thelijjagoda, S., & Karunarathna, N. Influence of IoT on Warehouse Management Performance in the Global Context: A Critical Literature Review. 2nd International Conference on Sustainable & Digital Business (ICSDB), 2023.
Ejaz, M., Kumar, T., Ylianttila, M., & Harjula, E. Performance and Efficiency Optimization of Multi-layer IoT Edge Architecture. 2020 2nd 6G Wireless Summit (6G SUMMIT), 2020, Levi, Finland. DOI:10.1109/6GSUMMIT49458.2020.9083896.
Yu, T., & Wang, X. Real-Time Data Analytics in Internet of Things Systems. Handbook of Real-Time Computing, 2020, 1-28. Springer, Singapore. DOI:10.1007/978-981-4585-87-3_38-1.
Chaudhari, A. V., & Charate, P. A. Data Warehousing for IoT Analytics. International Research Journal of Engineering and Technology (IRJET), 11(6), 2024, 311-222. e-ISSN: 2395-0056, p-ISSN: 2395-0072.
Johnson, R., & Smith, P. Optimizing Data Warehouse Schemas for IoT Applications. IEEE Transactions on Big Data, 9(2), 2023, 145-160.
Martinez, A., & Lee, B. Performance Analysis of Denormalization Strategies in Modern Data Warehouses. Journal of Database Management, 35(1), 2024, 23-42.
Chen, H., Wang, L., & Zhang, K. IoT Data Management: Balancing Performance and Storage Efficiency. ACM Transactions on Database Systems, 48(3), 2023, 1-28.
Wilson, M., & Thompson, J. Real-Time Analytics in IoT Environments: Challenges and Solutions. Big Data Research, 31, 2023, 100294.
Kumar, S., & Singh, R. Modern Approaches to IoT Data Warehousing. International Journal of Data Management Systems, 12(1), 2024, 78-95.
Downloads
-
PDF
Downloads: 10
Published
How to Cite
Issue
Section
License
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:- Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
- Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
- Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).