Главная » Статьи » Информатика

Меры информации

Классификация мер

Для измерения информации вводятся два параметра: количество информации  I и объем дан­ных VД.

Эти параметры имеют разные выражения и интерпретацию в зависимости от рассмат­риваемой формы адекватности. Каждой форме адекватности соответствует своя мера коли­чества информации и объема данных (рис. 2.1).

Рис. 2.1.  Меры информации

 

 

 

Синтаксическая мера информации

Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.

Объем данных VД в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соот­ветственно меняется единица измерения данных:

•         в двоичной системе счисления единица измерения — бит (bit binary digit — двоич­ный разряд);

Примечание. В современных ЭВМ наряду с минимальной единицей измерения данных "бит" широко используется укрупненная единица измерения "байт", равная 8 бит.

•         в десятичной системе счисления единица измерения — дат (десятичный разряд).

Пример 2.3. Сообщение в двоичной системе в виде восьмиразрядного двоичного кода 10111011 имеет объем данных VД  = 8 бит.

Сообщение в десятичной системе в виде шестиразрядного числа 275903 имеет объем данных VД = 6 дит.

Количество информации I на синтаксическом уровне невозможно опреде­лить без  рассмотрения понятия неопределенности состояния системы (энтропии системы). Действительно, получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы. Рассмотрим это понятие.

Пусть до получения информации потребитель имеет некоторые предварительные (ап­риорные) сведения о системе α. Мерой его неосведомленности о системе является функция H(α), которая в то же время служит и мерой неопределенности состояния системы.

После получения некоторого сообщения β получатель приобрел некоторую дополни­тельную информацию Iβ(α), уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения β) неопределенность состояния системы стала Hβ(α).

Тогда количество информации Iβ(α) о системе, полученной в сообщении β, опреде­лится как

Iβ(α) = H(α) - Hβ(α),

т.е. количество информации измеряется изменением (уменьшением) неопределенности со­стояния системы.

Если конечная неопределенность Hβ(α) обратится в нуль, то первоначальное непол­ное знание заменится полным знанием и количество информации Iβ(α) = H(α). Иными сло­вами, энтропия системы H(α) может рассматриваться как мера недостающей информации.

Энтропия системы H(α), имеющая N возможных состояний, согласно формуле Шенно­на, равна:

 

где pi  — вероятность того, что система находится в i-м состоянии.

Дня случая, когда все состояния системы равновероятны, т.е. их вероятности равны Pi =, ее энтропия определяется соотношением

 

Часто информация кодируется числовыми кодами в той или иной системе счисления, особенно это актуально при представлении информации в компьютере. Естественно, что одно и то же количество разрядов в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения

N=mn,

где N — число всевозможных отображаемых состояний;

т — основание системы счисления (разнообразие символов, применяемых в алфавите); п — число разрядов (символов) в сообщении.

Пример 2.4. По каналу связи передается n-разрядное сообщение, использующее т различных символов. Так как количество всевозможных кодовых комбинаций будет N=mn, то при равновероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет I = log N = п log т — формула Хартли.

Если в качестве основания логарифма принять т, то I = п. В данном случае количест­во информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных I = VД, полученных по каналу связи. Для неравновероятных состояний системы всегда I < VД  = n.

Наиболее часто используются двоичные и десятичные логарифмы. Единицами измере­ния в этих случаях будут соответственно бит и дит.

Коэффициент (степень) информативности (лаконичность) сообще­ния определяется отношением количества информации к объему данных, т.е.

 

, причем 0<Y<1.

С увеличением Y уменьшаются объемы работы по преобразованию информации (дан­ных) в системе. Поэтому стремятся к повышению информативности, для чего разрабатыва­ются специальные методы оптимального кодирования информации.

Семантическая мера информации

Для измерения смыслового содержания информации, т.е. ее количества на семантическом уровне, наибольшее признание получила тезаурусная мера, которая связывает семантичес­кие свойства информации со способностью пользователя принимать поступившее сообще­ние. Для этого используется понятие тезаурус пользователя.

Тезаурус — это совокупность сведений, которыми располагает пользова­тель или система.

В зависимости от соотношений между смысловым содержанием информации S и теза­урусом пользователя Sp изменяется количество семантической информации Ic, восприни­маемой пользователем и включаемой им в дальнейшем в свой тезаурус. Характер такой зависимости показан на рис. 2.2. Рассмотрим два предельных случая, когда количество се­мантической информации Ic  равно 0:

•              при Sp0 пользователь не воспринимает, не понимает поступающую информацию;

•              при Sp  →∞ пользователь все знает, и поступающая информация ему не нужна.


Количества семантическойРис. 2.2.  Зависимость 

 информации, воспринимаемой

потребителем, от его тезауруса

Ic=f(Sp)

Максимальное количество семантической информации 1c потребитель приобретает при согласовании ее смыслового содержания S со своим тезаурусом Sp (Sp = Spopt), когда поступающая информация понятна пользователю и несет ему ранее не известные (отсутст­вующие в его тезаурусе) сведения.

Следовательно, количество семантической информации в сообщении, количество новых знаний, получаемых пользователем, является величиной относительной. Одно и то же сообщение может иметь смысловое содержание для компетентного пользователя и быть бессмысленным (семантический шум) для пользователя некомпетентного.

При оценке семантического (содержательного) аспекта информации необходимо стре­миться к согласованию величин S и Sp.

Относительной мерой количества семантической информации может служить коэф­фициент содержательности С, который определяется как отношение количества семанти­ческой информации к ее объему:

.

Прагматическая мера информации

Эта мера определяет полезность информации (ценность) для достижения пользователем по­ставленной цели. Эта мера также величина относительная, обусловленная особенностями использования этой информации в той или иной системе. Ценность информации целесооб­разно измерять в тех же самых единицах (или близких к ним), в которых измеряется целе­вая функция.

Пример 2.5. В экономической системе прагматические свойства (ценность) информа­ции можно определить приростом экономического эффекта функционирования, до­стигнутым благодаря использованию этой информации для управления системой:

I(γ)=П(γ/β) – П(γ),

где I(γ) — ценность информационного сообщения β для системы управления γ,

 П(γ)   — априорный ожидаемый экономический эффект

 функционирования системы управления γ,

  П(γ/β) — ожидаемый эффект функционирования системы γ при условии, что для управления будет использована информация, содержащаяся в сообщении γ.

Для сопоставления введенные меры информации представим в табл. 2.1.

Таблица 2.1. Единицы измерения информации и примеры

Мера информации

Единицы измерения

Примеры (для компьютерной области)

Синтаксическая

 

Шенноновский подход

 

Степень уменьшения неопределённости     

 

Вероятность события

 

Компьютерный подход

Единицы   представления   информации         

 

Бит, байт, Кбайт и т.д.

Семантическая

 

Тезаурус

Пакет прикладных программ, персональный компьютер, компьютерные сети и т.д.

Экономические показатели

Рентабельность, производительность, коэффициент амортизации и т.д.

Прагматическая

Ценность использования

 

Емкость памяти, производительность компьютера,скорость передачи данных и т.д.

Денежное выражение

Время обработки информации и принятия решений



Источник: http://Мера информация, информация, лекция, данные
Категория: Информатика | Добавил: Алексей (01.10.2014)
Просмотров: 7491 | Теги: информация, Данные, классификация, Лекция, мера, меры | Рейтинг: 0.0/0
Всего комментариев: 0
avatar