Проще всего дать определение этой концепции информации, если мы ограничим себя общением с помощью специального алфавита — бинарных чисел. Когда мы применяем бинарные числа, как сегодня это делается везде в коммуникации и компьютерной индустрии, у нас есть только два фундаментальных значения для выражения себя: 0 или 1.

Будучи макросостоянием, бинарная цифра соответствует только двум равновероятным микросостояниям. Когда мы получаем бинарный символ, наше неожиданное значение ограничено: или/или. Но ведь именно эта степень неожиданности, когда мы различаем две одинаково равные возможности, была открыта Сциллардом и в дальнейшем именовалась «один бит»: информация, которая выражается ответом на вопрос «да/нет», то есть разницей между двумя возможностями. Когда мы получаем бит, мы получаем кусочек информации, который соответствует разнице между двумя микросостояниями. Таким образом, прежде чем неожиданность станет существенной величиной, нам придется получить хотя бы несколько бит.

В символе, который известен как часть алфавита, содержится несколько большее количество информации. Здесь прибытие определенной буквы исключает не только одну-единственную другую возможность, а целых 25. Таким образом, когда мы получаем одну букву, мы получаем определенное количество бит — а точнее, 4 или 5.

На практике, конечно, все несколько сложнее. Язык отличается избыточностью — в нем есть лишние символы. Нам не нужно знать все буквы, чтобы мы могли угадать слово в «Колесе фортуны». Таким образом, на практике буквы обладают в среднем меньшей информативностью, чем пять бит. В датском содержание информации на одну букву составляет около 2 бит, а в более систематизированном языке, таком, как немецкий, значение одной буквы уменьшается до 1,3 бит. Более того, буквы используются неодинаково, следовательно, получив «А», мы получим не так много информации, как получив «Z». В среднем каждое микросостояние (буква) обладает вероятностью, которая пропорциональна числу различных микросостояний. Но вероятность каждой буквы пропорциональна и ее частоте использования, которая также связана с числом различных микросостояний в целом. Как знают участники «Колеса фортуны», информационная ценность буквы обратно пропорциональна частоте ее использования. Чем реже встречается буква, тем больше информации содержит ее присутствие.

Вооруженный этим точным определением информации, которая может быть измерена как количество бит, Шеннон смог получить несколько очень полезных уравнений, с помощью которых можно управлять телефонными линиями и размерами кабелей. Его основное заключение было таким: всегда можно передать сообщение без ошибок, если имеется достаточная полоса пропускания.

Полоса пропускания выражает способность коммуникационного канала передавать информацию, определяемую в количестве бит в секунду. Телефон, к примеру, может передавать 4000 бит в секунду, тогда как телевидение передает 4 миллиона — в тысячу раз больше. Хороший радиоприемник находится примерно посередине с его 16000 бит в секунду.

Шеннон знал, что если полоса пропускания будет больше, чем информационное содержание единицы сообщения, это сообщение можно будет передать без потерь.

Это очень полезно знать, если вы зарабатываете себе на жизнь, продавая людям телефонные линии.

Но это не слишком соотносится с информацией в повседневном понимании. Как мы все знаем, можно вести очень продолжительный разговор и при этом не передавать почти никакой информации — или написать огромное количество слов, которые не будут нести в себе никакого определенного значения.

Термин «информация» не слишком волновал Шеннона. На самом деле он вообще не слишком любил это слово и подчеркивал, что разработанная им теория — это теория коммуникации, теория о передаче информации, а не о значении информации. Данный объем информации может содержать глубокие откровения — или просто откровенный вздор. Это не играет роли — телефонный счет будет одинаковым и в том, и в другом случае.

Но это не делает аналитическую работу Шеннона откровенным вздором. То, что Шеннон называл «информацией», столь же реально, как и то, что Клаузиус называл энтропией. Телефонный звонок имеет свою цену. Чтобы ваша теща могла пощебетать, необходимо передать сигнал. Но все это может и не иметь ничего общего с содержанием информации.

Информация — это мера всего, что она могла бы сказать, а не того, ЧТО она сказала.

Информационное содержание в коммуникации — это выражение объема, который мог бы быть передан — а не того, который был передан на самом деле. Точно так же и энтропия при определенной температуре — это выражение того, сколькими разными способами могут расположиться молекулы, не приводя ни к каким изменениям, информация — это выражение того, сколькими способами могут расположиться буквы, чтобы не потребовался еще один кабель.

Термодинамика имеет дело с макросостояниями, которые интересуют людей: тепло. Теория информации имеет дело с макросостояниями, которые интересуют телефонные компании: символы.

Но в определении информации, данном Шенноном, есть кое-что странное. Оно устраняет саму идею значения и ограничивается только тем значением, которое могло бы присутствовать — но вовсе не обязательно присутствует. Если сравнить это с нашим повседневным пониманием информации, то данное определение может показаться очень скудным. С другой стороны, оно невероятно точное, и мы могли бы простить ему за эту точность определенное упущение.

Тем не менее термин «информация» не всегда может быть особо точным. Это в огромной степени субъективная концепция: речь идет о том, насколько неожиданным для нас может оказаться сообщение. Она говорит нам о том, что буква «А» содержит в себе определенную информационную ценность, так как мы знаем: вместо нее могла дойти любая другая из 25 букв алфавита — но не дошла: дошла буква «А».

Но что, если бы нам было неизвестно, что мы имеем дело с буквой из 26-буквенного алфавита? Сколько информации содержала бы «А» в этом случае? Определение информации Шеннона ничего нам об этом не говорит.

Информация имеет определение только тогда, когда мы определили, кто говорит, с кем говорит и в каком контексте. Мы не можем дать определение информации Шеннона, пока не будем знать, какие допущения по обоюдному согласию принимают передатчик и приемник. Таким образом Шеннон предпринимает странный маневр: сначала он выбрасывает любые разговоры о значениях — а затем дает определение информации как зависящей от столь фундаментальных связей, что мы о них даже не говорим.

Если мы не будем знать, сколько микросостояний соответствует каждому макросостоянию, мы вообще не можем вести речи об информации. Только когда мы определяем макро- и микросостояния, мы можем знать количество информации. Точно так же, как и в случае энтропии.

Информация очень тесно связана с энтропией: энтропия данного макросостояния измеряется количеством соответствующих ему микросостояний. Чем их больше, тем выше энтропия. Информация — это нечто, чем мы обладаем, когда знаем, какие микросостояния задействованы.

Буква в тексте имеет энтропию, которая определяется тем фактом, что на ее месте мог быть один из 26 символов. Информация — это знание о том, каким именно символом она является. Информационная ценность знания о том, какое микросостояние задействовано, зависит от того, сколько вообще микросостояний может быть задействовано. У символа есть определенная энтропия, и знание о его реальном микросостоянии — какая буква? — таит в себе определенное количество информации, которое соответствует энтропии данного символа.

Таким образом, мы не можем определить энтропию или информацию, если нам не известен контекст.

Отсюда происходит множество непониманий, в первую очередь потому, что «информация» — это нагруженное значением слово со знаком плюс, выражение, которое мы спонтанно ассоциируем с чем-то «хорошим». В течение десятков лет информация ассоциировалась с порядком — а энтропия с беспорядком.

Эта идея ведет свое происхождение от математика Норберта Винера, основателя кибернетики — теории контрольных систем. В своей книге «Кибернетика» 1948 года он говорит, что информационная теория пришла к нему примерно в то же время, как и к Шеннону (который опубликовал ее в 1948 году). Несколькими строчками далее Винер провозглашает, что «точно так же, как количество информации, в системе есть мера ее степени организованности, так что энтропия системы — это мера ее дезорганизации».

Эта точка зрения находится весьма далеко от точки зрения Шеннона. Если же говорить точнее, то идея Винера является противоположностью тому, что утверждал Шеннон. Но она получила большое влияние особенно в свете изучения демона Максвелла. Леон Бриллоун с энтузиазмом развивал идею Винера, обобщив ее в концепции негэнтропии — «без-беспорядка», то есть порядка.

Звучит интригующе — но это не может быть верным. И в действительности чтобы эта идея стала верной, Бриллоуну пришлось изменить знак концепции информации Шеннона. Из этого изменения выросли десятки лет непонимания. Информация Шеннона — это энтропия: количество выборов, количество микросостояний, неопределенность. Бриллоун же просто поменял символ: информация — это порядок, то есть негативная энтропия.

Восприятие информации как порядка лежит ближе к нашему повседневному пониманию «информации», нежели понятие Шеннона. Так что понятие негэнтропии Бриллоуна и Винера оказалось соблазнительным. Проблема просто заключается в том, что нельзя просто играть с символами в уравнении, иначе можно полностью лишить его смысла.