Theory and methods of evaluating the entropy of discrete manipulated signals.

Authors

  • Ya. M. Nykolaichuk Ternopil National Economic University, Ukraine
  • T. I. Pastukh Ternopil National Economic University, Ukraine
  • A. R. Voronych Ivano-Frankivsk National Technical University of Oil and Gas, Ukraine

Keywords:

theory, entropy, discrete manipulated signals

Abstract

Presented   the theoretical basis of analytical assessment of the entropy of random processes. Systematization of the entropy assessment methods developed by R. Hartley, C. Kramp, N.Kolmohorova, C. Shannon, G. Longo, G. Shults, B. Oliver, D.Middleton, W. Tuller, V.Boyuna, Ya.Nykolaychuka. The analysis of various assessments estimates entropy revealed that their foundation is a logarithmic function of probability information sources, multivariate statistical distributions of increments mathematical expectation, dispersion, standard deviation and different analytical expressions autocorrelation functions. Shown that the amount of R.Hartley entropy is the upper estimate of the volume of information Dzh.Lonho and H.Shultsa and taken into account coefficients of the information utility. The measure of C. Shannon takes into account the probability states and the Ya. Nykolaychuk measure takes into account the variance and autocorrelation function, to the greatest degree close to its own entropy sources.

Author Biographies

Ya. M. Nykolaichuk, Ternopil National Economic University, Ukraine

Dr. Sc. (Eng.), Professor, Head of the Department of Specialized Computer Systems

T. I. Pastukh, Ternopil National Economic University, Ukraine

postgraduate student of the Department of Specialized Computer Systems

A. R. Voronych, Ivano-Frankivsk National Technical University of Oil and Gas, Ukraine

Cand. Sc. (Eng.), assistant professor of computer systems and networks

References

1. К. Шеннон. Работы по теории информации и кибернетике. Издательство иностранной литературы, Москва 1963. — 438 с.
2. Хартли Р. Л. Передача информации // Теория информации и ее приложения. — М., 1959. — 350 с.
3. Харкевич А. А. Спектры и анализ. — М. : ГИТТЛ, 1957. — 280 с.
4. Колмогоров А. Н. Теория передачи информации: Сес. АН СССР по науч. пробл. автоматизации пр–ва. Пленар. заседания. — М. : Изд–во АН СССР, 1957. — 15 с.
5. Longo G. Quantitative–qualitative measure of information. Inetrnat. Center of mechan. Sciences(Sommerkurs in Undient)/ Springer–Verlag, 1972.
6. Shults G/ Informations theorie mit Bewertung. Wiss/Zeitschrift d. Humbold Univer. Berlin XX – 1971.S.175–183
7. Оливер Б. Эффетивное кодирование/ Теория информации и её применение/Под ред.
А. А. Харкевича. — М. : Физматгиз, 1959. — С. 159—190
8. Миддлтон Д. Введение в статистическую связи. — М. : Советское радио, 1961. — 768 с.
9. Николайчук Я. М. Теорія джерел інформації. / Монографія: Тернопіль: — ТНЕУ,2008. —536 с.
10. Николайчук Я. М. Коди поля Галуа:теорія та застосування. —Монографія: / Тернопіль : ТзОВ «Терно—граф». 2012. — 320 с.
11. Николайчук Я. М. Проектування спеціалізованих комп’ютерних систем. Навчальний посібник/ Тернопіль : ТзОВ «Терно-граф». 2010. —392 с.,іл.
12. Computer tecnologic 2015
13. Николайчук Я. М. Концепція інтегрованої теорії джерел інформації // Збірникнаукових праць Бучацького інституту менеджменту і аудиту. — Бучач. — 2009. —№ 5. — С. 52—61.
14. Боюн В. П. Динамическая теория информации. Основы и приложения. — К. : Ин-т кибернетики им. В. М. Глушкова НАН Украины, 2001. —326 с.
15. Воронич А. Р. Ентропійні методи формування та процесори опрацювання сигналів на основі коректуючих кодів Галуа : Дис.канд.тех.наук. — Т., 2013
16. Погонець І. О. Ентропійні методи та обчислювальні засоби ідентифікації станів квазістаціонарних об’єктів керування : Дис.канд.тех.наук. — Т.,2012
17. Сегін А. І. Моделі джерел інформації та методи їх формування в системах реального часу: Дис.канд.тех.наук — Л., 2001
18. Кузьмин И. В. Основы теории информации и кодирования / И. В.Кузьмин, В. А. Кедрус. — К. : Вища школа, 1986, —238 с.
19. Николайчук Я. М., Сегін А. І., Сабодаж І. Метод розпізнавання графічних на основі власних функцій Карунена-Лоєва // Компютерні технології друкарства. Збірник наукових праць. 2000.Львів, — № 5, — 200. — С. 433—347.
20. Пат. 58743 Україна МПК(2006) G06F 17/15(2011/01). Пристрій для визначення автокореляційної міри ентропії/Івано–Франківський національний технічний університет нафти і газу/ Николайчук Я. М., Воронич А. Р., Погонець І. О №u201011297; заявл. 22.09.2010; опубл. 26.04.2011, Бюл. № 8.
21. Пат. 68044 Україна МПК G06F 17/15(2006.01). Пристрій для визначення автокореляційної міри ентропії / Івано–Франківський національний технічний університет нафти і газу/ Николайчук Я. М., Воронич А. Р., Погонець І. О., №u 01110818; заявл. 09.09.2011; опубл. 12.03.2012, Бюл. № 5.

Downloads

Abstract views: 322

Published

2015-07-20

How to Cite

[1]
Y. M. Nykolaichuk, T. I. Pastukh, and A. R. Voronych, “Theory and methods of evaluating the entropy of discrete manipulated signals”., Опт-ел. інф-енерг. техн., vol. 29, no. 1, pp. 18–29, Jul. 2015.

Issue

Vol. 29 No. 1 (2015)

Section

OptoElectronic/Digital Methods and Systems for Image/Signal Processing

Metrics

Downloads

Download data is not yet available.

License

Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:

  1. Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
  2. Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
  3. Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).