Time series data management in smart home systems: balancing real-time analytics and data storage
DOI:
https://doi.org/10.31649/1681-7893-2025-50-2-54-61Keywords:
time series data, smart home systems, IoT, real-time analytics, historical data storage, hybrid database architecture, data optimization, NoSQL, relational databases, big data managementAbstract
The article presents a novel approach to managing time-series data in smart home systems that balances real-time analytics with efficient historical data storage. A hybrid architecture combining Azure CosmosDB for real-time data processing and Azure Synapse for historical data analytics demonstrates significant performance advantages. The system achieves up to 165-fold acceleration in analytical query execution (from 3.3 seconds to 20 milliseconds for time-series aggregation queries) while reducing the number of read operations by 17. Implementing optimization strategies, such as state-based recording and interval-based storage, significantly reduces data volume while maintaining temporal data integrity. The system demonstrates linear scalability, handling up to 1 million write operations per second, and achieves compression ratios of up to 5:1 in CosmosDB and 10:1 in Synapse.
References
Yu, T., & Wang, X. (2020). Real-Time Data Analytics in Internet of Things Systems. In H. X. Lin, A. Shoshani, & J. M. Wing (Eds.), Handbook of Real-Time Computing (pp. 1–28). Singapore: Springer. https://doi.org/10.1007/978-981-4585-87-3_25-1
Hu, C., Sun, Z., Li, C., Zhang, Y., & Xing, C. (2023). Survey of Time Series Data Generation in IoT. Sensors, 23(15), 6976. https://doi.org/10.3390/s23156976
Stojmenovic, I., & Wen, S. (2014). The Fog Computing Paradigm: Scenarios and Security Issues. In Proceedings of the 2014 Federated Conference on Computer Science and Information Systems (FedCSIS) (Vol. 2, pp. 1–8). Warsaw, Poland: IEEE. https://doi.org/10.15439/2014F500
Al-Ali, A. R., Zualkernan, I. A., Rashid, M., Gupta, R., & AliKarar, M. (2017). A Smart Home Energy Management System Using IoT and Big Data Analytics Approach. IEEE Transactions on Consumer Electronics, 63(4), 426–434. https://doi.org/10.1109/TCE.2017.015014
Cattell, R. (2011). Scalable SQL and NoSQL Data Stores. ACM SIGMOD Record, 39(4), 12–27. https://doi.org/10.1145/1978915.1978919
Han, J., Haihong, E., Le, G., & Du, J. (2011). Survey on NoSQL Database. In Proceedings of the 6th International Conference on Pervasive Computing and Applications (ICPCA) (pp. 363–366). Port Elizabeth, South Africa: IEEE. https://doi.org/10.1109/ICPCA.2011.6106531
Chaudhuri, S., & Dayal, U. (1997). An Overview of Data Warehousing and OLAP Technology. ACM SIGMOD Record, 26(1), 65–74. https://doi.org/10.1145/248603.248616
Cai, L., & Zhu, Y. (2015). The Challenges of Data Quality and Data Quality Assessment in the Big Data Era. Data Science Journal, 14, 2. https://doi.org/10.5334/dsj-2015-002
Kang, Y. S., Park, I.-H., Rhee, J., & Lee, Y.-H. (2016). MongoDB-Based Repository Design for IoT-Generated RFID/Sensor Big Data. IEEE Sensors Journal, 16(2), 485–497. https://doi.org/10.1109/JSEN.2015.2483499
Rinaldi, S., Pasetti, M., Sisinni, E., Gentili, M., & Flammini, A. (2019). Impact of Data Model on Performance of Time Series Database for Internet of Things Applications. In 2019 IEEE International Instrumentation and Measurement Technology Conference (I2MTC) (pp. 1–6). Auckland, New Zealand: IEEE. https://doi.org/10.1109/I2MTC.2019.8826829
Wang, C., Jiang, T., Liu, Y., Fu, B., & Liu, Y. (2023). Apache IoTDB: A Time Series Database for IoT Applications. Proceedings of the VLDB Endowment, 16(12), 3960–3963. https://doi.org/10.14778/3617837.3617870
Ramakrishnan, R., Sridharan, B., Rosenblum, D. S., Liang, Y., Liang, X., & Raghavan, A. (2017). Azure Data Lake Store: A Hyperscale Distributed File Service for Big Data Analytics. In Proceedings of the 2017 ACM International Conference on Management of Data (SIGMOD ’17) (pp. 51–63). Chicago, IL, USA: ACM. https://doi.org/10.1145/3035918.3056101
Downloads
-
PDF
Downloads: 0
Published
How to Cite
Issue
Section
License
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:- Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
- Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
- Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).
