Энтропия

Теоретико-информационная мера степени неопределенности случайной величины. Если — дискретная случайная величина, определенная на нек-ром вероятностном пространстве и принимающая значения x1, x2, . . . с распределением вероятностей то Э. определяется формулой (при этом считается, что 0 log 0=0). Основанием логарифма может служить любое положительное число, но обычно рассматривают логарифмы по основанию 2 или е, что соответствует выбору бит или нат (натуральная единица) в качестве единицы измерения. Если и — две дискретные случайные величины, принимающие значения х 1, х2, ... и y1, y2, ... с распределениями вероятностей и соответственно, и — условное распределение при условии, что j=1, 2, . . ., то (средней) условной Э. величины относительно наз. величина Пусть — стационарный процесс с дискретным временем и дискретным пространством значений такой, что Тогда Э. (точнее, средней Э. на символ) такого стационарного процесса наз. предел где — Э. случайной величины Известно, что предел в правой части (3) всегда существует и имеет место равенство где — условная Э.относительно Э. стационарных процессов находит важные применения в теории динамич. систем. Если и v — две меры на нек-ром измеримом пространстве причем мера абсолютно непрерывна относительно v и — соответствующая производная Радона — Никодима, то Э. меры относительно меры v наз. интеграл Частным случаем Э. меры по мере является дифференциальная энтропия. Из многих возможных обобщений понятия Э. для теории информации одним ил самых важных является следующее. Пусть и — две случайные величины, принимающие значения в нек-рых измеримых пространствах и соответственно. Пусть заданы распределение случайной величины и класс Wдопустимых совместных распределений пары в множестве всех вероятностных мер в произведении Тогда W-энтропией (или Э. при заданном условии сообщений точности воспроизведения W )наз. величина где — информации количество в относительно а нижняя грань берется по всем парам случайных величин таким, что совместное распределение пары принадлежит W, а имеет распределение Класс W совместных распределений часто задают с помощью нек-рой неотрицательной измеримой действительнозначной функции — меры искажения следующим образом: где — нек-рое фиксированное число. В этом случае величину, определяемую равенством (6), где Wзадается (7), называют -энтропией (или скоростью как функцией искажения) и обозначают Напр., если — гауссовский случайный вектор с независимыми компонентами, k=1,2, ..., п, а функция имеет вид то может быть найдена по формуле где определяется из уравнения Если — дискретная случайная величина, пространства и совпадают, а функция имеет вид то -Э. при равна обычной Э., определяемой в (1), т. е. Лит.:[1]Шеннон К., Математическая теория связи, в сб.: Работы по теории информации и кибернетике, пер. с англ., М., 196З, с. 243-332; [2] Галл агер Р., Теория информации и надежная связь, пер. с англ., М., 1974; [3] Berger Т., Rate distortion theory, Englewood Cliffs (N. J.), 1971; [4] Биллингeлeй И., Эргодическая теория и информация, пер. с англ., М., 1969. Р. Л. Добрушин, В. В. Прелов.

Источник: Математическая энциклопедия на Gufo.me


Значения в других словарях

  1. Энтропия — (от греч. entropía — поворот, превращение) понятие, впервые введенное в термодинамике (См. Термодинамика) для определения меры необратимого рассеяния энергии. Э. широко применяется и в других областях науки: в статистической физике (См. Большая советская энциклопедия
  2. энтропия — -и, ж. 1. физ. Одна из величин, характеризующих тепловое состояние тела или системы тел; мера внутренней неупорядоченности системы. 2. В теории информации — мера неопределенности какого-л. опыта, который может иметь разные исходы. [От греч. ’εν — в, на и τροπή — поворот, превращение] Малый академический словарь
  3. ЭНТРОПИЯ — (от греч. entropia — поворот, превращение), понятие, впервые введённое в термодинамике для определения меры необратимого рассеяния энергии. Э. широко применяется и в др. областях науки: в статистической физике как мера вероятности осуществления к.-л. Физический энциклопедический словарь
  4. ЭНТРОПИЯ — ЭНТРОПИЯ (от греч. entropia — поворот, превраи^ение) — англ. entropy; нем. Entropie. 1. Мера внутренней неупорядоченности системы. 2. В кибернетике и теории вероятностей — меране-определенности случайной величины. Социологический словарь
  5. энтропия — орф. энтропия, -и Орфографический словарь Лопатина
  6. энтропия — Эн/троп/и́/я [й/а]. Морфемно-орфографический словарь
  7. энтропия — В теории информации — мера неопределенности состояния объекта; мера неопределенности некоторой ситуации (случайной величины) с конечным или счетным числом исходов. Толковый переводоведческий словарь / Л.Л. Нелюбин. — 3-е изд., перераб. — М.: Флинта: Наука, 2003 Толковый переводоведческий словарь
  8. энтропия — ЭНТРОПИЯ функция состояния S термодинамич. системы, изменение которой dS для бесконечно малого обратимого изменения состояния системы равно отношению количества теплоты полученного системой в этом процессе (или отнятого от системы), к абс. Химическая энциклопедия
  9. энтропия — ЭНТРОПИЯ и, ж. entropie f., нем. Entropie <�гр. en в, внутрь + trope поворот, превращение. 1. Физическая величина, характеризующая тепловое состояние тела или системы тел и возможные изменения этих состояний. Вычисление энтропии. БАС-1. Словарь галлицизмов русского языка
  10. энтропия — ЭНТРОПИЯ (от греч. in — в и trope — поворот, превращение) — понятие классической термодинамики, введенное Р. Клаузиусом. С его помощью формулируется один из ее основных законов, утверждающий, что Э. в замкнутой системе не может убывать. Когда... Энциклопедия эпистемологии и философии науки
  11. ЭНТРОПИЯ — ЭНТРОПИЯ, показатель случайности или неупорядоченности строения физической системы. В ТЕРМОДИНАМИКЕ энтропия выражает количество тепловой энергии, пригодной для совершения работы: чем энергии меньше, тем выше энтропия. Научно-технический словарь
  12. ЭНТРОПИЯ — ЭНТРОПИЯ (греч en — в, tropia — поворот, превращение) — понятие классической физики (введено в науку Р. Клаузиусом в 19 в.), посредством которого, в частности, описывалось действие второго начала термодинамики: в замкнутой системе... Новейший философский словарь
  13. энтропия — ЭНТРОПИЯ -и; ж. [от греч. en — в, на и tropos — поворот, направление] 1. Физ. Одна из величин, характеризующих тепловое состояние тела или системы тел; мера внутренней неупорядоченности системы. 2. Спец. Мера неопределённости какого-л. опыта, который может иметь разные исходы. Толковый словарь Кузнецова
  14. ЭНТРОПИЯ — ЭНТРОПИЯ (от греч. entropia — поворот, превращение) (обычно обозначается S) — функция состояния термодинамической системы, изменение которой dS в равновесном процессе равно отношению количества теплоты dQ, сообщенного системе или отведенного от нее... Большой энциклопедический словарь
  15. энтропия — [гр. в + поворот, превращение] – 1) физ. особая физическая величина; характеризует в обычно наблюдаемых нами явлениях и процессах рассеяние, обесценение энергии... Большой словарь иностранных слов
  16. ЭНТРОПИЯ — (от греч. entropia — поворот, превращение) в теории информации: величина, характеризующая степень неопределенности системы. Экономический словарь терминов
  17. энтропия — энтропия I ж. Физическая величина, характеризующая тепловое состояние тела или системы тел и возможные изменения этих состояний; мера внутренней неупорядоченности систем (в термодинамике). II ж. Мера неопределённости какого-либо опыта, который может иметь разные исходы. Толковый словарь Ефремовой
  18. Энтропия — См. Термохимия и Теплота. Энциклопедический словарь Брокгауза и Ефрона