Model and method for assessing the reliability of a keyboard handwriting sample for behavioral user
DOI:
https://doi.org/10.31649/1681-7893-2026-51-1-24-32Keywords:
keystroke dynamics, behavioral biometrics, biometric sample quality, sample reliability, probability calibration, Platt scaling, isotonic regression, ROC, EERAbstract
This paper addresses the problem of estimating the reliability (sample quality) of the current keystroke-dynamics sample in behavioral user authentication at login time. Unlike risk-based fusion or context–behavior score combination, the focus is: “Can this particular behavioral sample be trusted enough to use the behavioral channel?” We provide a formal definition of sample reliability as a probabilistic estimate of sample usability/utility for biometric comparison, and propose a feature model capturing degradation factors: event completeness, effective sequence length, timing variability, autofill/paste indicators, device-change signals, and timestamp quantization/jitter. An integral reliability estimation method based on a logistic quality model is developed, and the relationship between estimated reliability and the behavioral verifier’s error is analyzed. We also discuss probability calibration (Platt scaling, isotonic regression, Bayesian binning) to convert raw scores into well-interpretable probabilities. Experimental validation is performed on the public DSL-StrongPassword benchmark dataset (51 users, 400 password typings per user) with controlled synthetic degradations (event loss, truncation, jitter/quantization). Results show that reliability-based filtering improves behavioral matching performance (AUC increases from 0.856 to 0.890 for samples with q≥0.8 at ≈53% coverage) and changes the error profile, reducing false rejects for legitimate users in high-quality samples. Practical deployment recommendations for reliability thresholds and “use/do-not-use” gating policies are provided.
References
Killourhy K. S., Maxion R. A. Keystroke Dynamics – Benchmark Data Set [Електронний ресурс]. Carnegie Mellon University, 2009. URL: https://www.cs.cmu.edu/~keystroke/
Giot R., El-Abed M., Rosenberger C. GREYC Keystroke: A Benchmark for Keystroke Dynamics Biometric Systems. In: 2009 IEEE 3rd International Conference on Biometrics: Theory, Applications and Systems. 2009. P. 1–6. DOI: 10.1109/BTAS.2009.5339051.
ISO/IEC 29794-1:2024. Information technology – Biometric sample quality – Part 1: Framework. Geneva : International Organization for Standardization, 2024.
ISO/IEC 19795-1:2021. Information technology – Biometric performance testing and reporting – Part 1: Principles and framework. Geneva : International Organization for Standardization, 2021.
Kuzminykh I., Ghita B., Silonosov A. On Keystroke Pattern Variability in Virtual Desktop Infrastructure. Computer Modeling and Intelligent Systems. 2021. Vol. 2864. P. 238–248. DOI: 10.32782/cmis/2864-21.
Wahab A. A., Hou D., Banavar M., Schuckers S., Eaton K., Baldwin J., Wright R. Shared Multi-Keyboard and Bilingual Datasets to Support Keystroke Dynamics Research. In: CODASPY ’22: Proceedings of the Twelfth ACM Conference on Data and Application Security and Privacy. 2022. P. 236–241. DOI: 10.1145/3508398.3511516.
Dhakal V., Feit A. M., Kristensson P. O., Oulasvirta A. Observations on Typing from 136 Million Keystrokes. In: CHI ’18 Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. 2018. DOI: 10.1145/3173574.3174220.
Guo C., Pleiss G., Sun Y., Weinberger K. Q. On Calibration of Modern Neural Networks. In: Proceedings of the 34th International Conference on Machine Learning. Proceedings of Machine Learning Research. 2017. Vol. 70. P. 1321–1330.
Platt J. C. Probabilistic Outputs for Support Vector Machines and Comparisons to Regularized Likelihood Methods. In: Advances in Large Margin Classifiers. Cambridge, MA : MIT Press, 1999. P. 61–74.
Zadrozny B., Elkan C. Transforming Classifier Scores into Accurate Multiclass Probability Estimates. In: Proceedings of the Eighth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2002. P. 694–699. DOI: 10.1145/775047.775151.
Naeini M. P., Cooper G., Hauskrecht M. Obtaining Well Calibrated Probabilities Using Bayesian Binning. In: Proceedings of the AAAI Conference on Artificial Intelligence. 2015. Vol. 29, No. 1. P. 2901–2907. DOI: 10.1609/aaai.v29i1.9602.
Brier G. W. Verification of Forecasts Expressed in Terms of Probability. Monthly Weather Review. 1950. Vol. 78. P. 1–3. DOI: 10.1175/1520-0493(1950)078<0001:VOFEIT>2.0.CO;2.
DeLong E. R., DeLong D. M., Clarke-Pearson D. L. Comparing the Areas under Two or More Correlated Receiver Operating Characteristic Curves: A Nonparametric Approach. Biometrics. 1988. Vol. 44, No. 3. P. 837–845. DOI: 10.2307/2531595.
Demšar J. Statistical Comparisons of Classifiers over Multiple Data Sets. Journal of Machine Learning Research. 2006. Vol. 7. P. 1–30.
Bisikalo, O.; Kharchenko, V.; Kovtun, V.; Krak, I.; Pavlov, S. Parameterization of the Stochastic Model for Evaluating Variable Small Data in the Shannon Entropy Basis. Entropy 2023, 25, 184.
Intellectual technologies in medical diagnostics, treatment and rehabilitation: monograph / [S.V. Pavlov, O.G. Avrunin, S.M. Zlepko, E.V. Bodianskyi and others]; edited by S. Pavlov, O. Avrunin. – Vinnytsia: PP “TD “Edelweiss and K”, 2019. – 260 p.
Downloads
-
pdf (Українська)
Downloads: 1
Published
How to Cite
Issue
Section
License
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:- Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
- Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
- Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).
