Передача информации по каналу связи.

Любой канал связи или канал передачи можно рассматривать как некоторую систему, по которой передаётся информация – от входа к выходу.

При передаче информации по каналу связи на неё воздействуют помехи P. В общем случае количество входов и выходов может быть неограниченно большим. Пусть на вход поступает некоторый сигнал St. Система реализует на это воздействие появлением на выходе сигнала Sτ, который обязательно будет запаздывать по отношению к входному сигналу на некоторое время τ – время задержки в системе – и обязательно подвергнется некоторой модификации. Время задержки τ является, как правило, нежелательным свойством канала и должно быть по возможности минимизировано. С другой стороны, любое устройство хранения информации можно рассматривать как канал связи, также осуществляющий передачу информации со входа на выход, но одновременно обеспечивающий задержку этой информации на некоторое, желательно регулируемое и в принципе сколь угодно длительное время, которое можно назвать временем хранения информации.

Модификация сигнала может носить характер искажений той или иной природы, но может представлять собой и полезный процесс, например, усиление, оптимальную фильтрацию и т.д. Существуют общие способы борьбы с помехами, пригодные для различных каналов связи. Прежде всего, желательно максимально снизить уровень помех и максимально повысить уровень полезного сигнала, увеличивая отношение сигнал/шум. Увеличение этого отношения может достигаться также за счёт соответствующего кодирования передаваемой информации, т.е. представления её в виде таких символов (например, импульсов определённой формы), которые чётко выделялись бы на фоне помех. Такое кодирование повышает помехоустойчивость передаваемой информации.

Важной характеристикой канала является его пропускная способность. Чем больше информации будет передано по каналу связи в единицу времени, тем меньших энергетических затрат она потребует и тем меньше будет стоить передача единицы информации.

Сигналы. Системы обработки сигналов.

Обычно под сигналом понимают величину, отражающую каким-либо образом состояние физической системы. В этом смысле естественно рассматривать сигнал как результат некоторых измерений, проводимых над физической системой в процессе её наблюдения. Устройство обработки преобразует исходный сигнал в форму, понятную и удобную для наблюдателя.

Поскольку такое устройство в целом обычно очень сложно, его для удобства расчленяют на блоки, выполняющие отдельные, частные преобразования. Обобщённая структурная схема подобной системы имеет вид:

 

Первичный преобразователь является датчиком, преобразующим исходную физическую величину x1 (механическую, электрическую, оптическую, тепловую, химическую и т.д.) в другую физическую величину x2, более удобную для дальнейшей обработки. Преобразовав исходные физические величины, скажем в электрические сигналы, мы можем произвести дальнейшее преобразование последних с тем, чтобы подчеркнуть наиболее важные свойства наблюдаемой системы и ослабить, или полностью подавить, другие, не характеризующие её состояние. Это и является в общем виде задачей кодирующего устройства. Назначение модулятора состоит в согласовании выходного сигнала xy со свойствами канала передачи. Демодулятор и декодирующее устройство служат для расшифровки, они выполняют преобразования, обратные тем, которые производились на входе канала передачи. Пройдя демодулятор, декодирующее устройство и выходной преобразователь, сигнал приобретает желаемую структуру, удобную для наблюдателя.

В различных системах встречается большое разнообразие сигналов. Обычно сигналами являются величины, изменяющиеся во времени. Такие сигналы удобны для анализа и обработки техническими средствами. Поэтому для сигналов другого вида искусственно вводят временную зависимость, например, оптические изображения представляют параметрическими зависимостями с временным аргументом. Представление сигнала временной функцией x(t)

позволяет идентифицировать функции, различать их друг от друга. Хорошо знакомым и привычным способом является графическое изображение функции.

График – это совокупность упорядоченных пар значений {t, X(t)}, взятых достаточно плотно и представленных в прямоугольной системе координат.

Мы привыкли к графическому представлению сигналов и создали для такого их изображения различные приборы: графические дисплеи, осциллографы, индикаторы, экраны, графопостроители и прочее. Имея достаточный навык, человек может успешно извлекать информацию из радиолокационной картинки, сейсмограммы, кардиограммы и т.д. Но способ анализа сигналов человеком – это область, достаточно “таинственная”, не алгоритмизируемая и не поддающаяся ни количественному анализу, ни автоматизации. Для проектировщика автоматической  системы обработки графическое представление сигнала непригодно просто потому, что оно состоит из слишком большого числа точек.

Что такое информация?

Там, где задаются вопросы, должны иметься спрашивающий и спрашиваемый, даже если это один и тот же человек. Чтобы ответить на вопрос “что такое информация?”, спрашиваемый должен сначала понять вопрос, а необходимым (но не достаточным) условием для этого является понимание всех содержащихся в вопросе слов. Употребляя выражение “информация”, спрашивающий должен его определить, чтобы спрашиваемый знал, о чём идёт речь. Но определение “информации” одновременно было бы и ответом на вопрос “что такое информация?” и, таким образом, сам вопрос оказался бы излишним. Другими словами, на вопрос “что такое информация?” следует вопрос “а что такое информация?”, что заводит нас в тупик. Возникают методологические сомнения, можно ли вообще ставить вопросы “что такое…?”.

Если наименование или “определяемое” некоторого понятия Х обозначить через tX, а определяющее его выражение через dX, то вопрос “что такое информация?» – это вопрос типа “что такое tX?”, а ожидаемый ответ является предложением типа “ tX есть dX”. Чтобы связать некоторый термин с определением, имеются два пути: либо термину приписать определяющее выражение, либо определяющему выражению приписать термин. С формальной точки зрения безразлично, какой из путей избрать. С того момента, когда ответ “ tX есть dX” становится известным спрашивающему или спрашиваемому, может быть поставлен вопрос “что такое tX?”, и вопрос этот действительно часто ставится в учебной практике. Когда ответ известен спрашиваемому, мы имеем дело с “консультацией”, а когда он известен спрашивающему – с “экзаменом”. Очевидно, что каждое определение тоже состоит из терминов, которые в свою очередь могут требовать определения.

Известно, что оценка количества информации основывается на законах теории вероятности. Это и понятно. Вероятность совершения какого-либо события представляет собой сумму вероятностей отдельных обстоятельств и ситуаций, определяющих событие. Пусть, например, имеется опыт, исход которого заранее неизвестен. Известно лишь множество N возможных исходов Х1, Х2, …, ХN и вероятности исходов Р(Х1), Р(Х2), …, Р(ХN). Количество информации в сообщении об исходе такого опыта равно:

Без имени

Это соотношение является одним из основных в теории информации и называется формулой Шеннона. Она выражает энтропию множества N вероятностей Р1, Р2, …, РN и в численном виде описывает “количество информации” (возможность выбора, неопределённость).

Из приведённой формулы следует, что H=0 тогда и только тогда, когда одна из вероятностей равна единице (т.е. все остальные вероятности равны нулю). Это есть состояние определённости, или уверенности.

Таким образом, утверждение, что из множества событий, каждое из которых может наступить с определённой вероятностью, одно действительно наступило, сводит неопределённость к нулю, что, по словам Шеннона, позволяет рассматривать величину H как “разумную количественную меру возможности выбора, или меру количества информации”. Если все исходы опыта равновероятны, то Без имени и Без имени

Выбор единицы количества информации сводится к выбору основания логарифма. Если логарифм берётся при основании 2 и N=2, то Без имени

Эта единица количества информации получила название бит, и она соответствует утверждению, что произошло одно из двух равновероятных событий.

В соответствии с этим количество информации в битах, получаемое при сообщении, что произошло одно из N равновероятных событий, выражается формулой, выведенной ещё раньше Хартли:

Без имени

Мы видим, что понятие “количество информации” определено способом, не оставляющим места для размышлений над тем, “что такое количество информации”, так как оно получено путём разумного терминологического соглашения, основанного на математической формуле. С научной точки зрения подход является безупречным. Однако с самим термином “количество информации” связана некоторая неясность, ибо в неявном виде предполагается, что если известно, что такое количество информации, известно также, что такое информация.

Теория информации до сих пор пока ещё не полностью обоснована, по меньшей мере, по двум причинам.

Во-первых, она требует теоретического обоснования самого понятия информации.

Во-вторых, да;t понятие количества информации не охватывает всех случаев, в которых требуется количественное описание информации. Дело в том, что для использования этого понятия нужно определить множество событий, которые могут произойти, и вероятности наступления каждого события. В то же время часто возникает необходимость количественного описания информации в условиях, когда множество событий точно не определено, а вероятности их наступления указать невозможно. Например, как описать количество информации в геометрическом утверждении, что один угол составляет половину другого. Ведь элементы геометрии вообще не “происходят”, это понятия абстрактные.

В связи с такого рода неясностями возникает недоумение, почему, несмотря на существование теории информации, в обычных, чаще всего встречающихся на практике случаях из неё нельзя узнать, что такое информация, и даже то, каково в том или ином случае количество информации.

Шеннон, наверное, отдавал себе отчёт в том, что понятие «информация» пока не определено и может ввести в заблуждение, поэтому назвал свою книгу “Математическая теория связи”. Употребляя слово «информация» в обычном смысле, можно сказать, что работа Шеннона касается больше передачи сигналов, несущих информацию, чем информации как таковой. Работа

Шеннона больше имеет дело со связью, чем с трудно уловимым конечным результатом связи, которым собственно и является информация.

Отец кибернетики Винер предложил следующее определение: “Информация – это обозначение содержания, черпаемого нами из внешнего мира в процессе нашего приспособления к нему и приведения в соответствии с ним нашего мышления”. К сожалению, это определение информации через ещё более неопределённое и лишённое общности понятие “содержание”.

Понятие информации – не только центральное понятие теории информации, но также и одно из фундаментальных понятий кибернетики. Это самое трудное понятие для всякого, кто хочет вникнуть в проблемы кибернетики, и оно до сих пор не имеет точного определения.

Исходя из задач технической теории передачи сообщений, вполне допустимо и даже уместно использовать суженное понятие информации типа “орёл” или “решка”, полученной в результате бросания монеты как испытания с равновероятными альтернативами. Таким образом, “один бит информации” – это информация, содержащаяся в кодовом знаке, принимающем лишь два значения при условии, что оба эти значения равновероятны. Любое сколь угодное сложное сообщение можно передать при помощи последовательности, построенной из двух различных символов, например из 1 и 0, которым могут соответствовать: 0 – отсутствие сигнала, 1 – наличие сигнала. Итак, информация передаётся сигналами.

Введение.

Характерной чертой современного этапа развития науки, техники, экономики является широкое внедрение различных классов вычислительных машин. Разрабатываются новые вычислительные машины с улучшенными параметрами. В них уже закладываются некоторые принципы, характерные для построения и работы мозга – самого сложного и загадочного из известных нам творений природы. Критериями “умственных способностей” машин следующих поколений будут объём памяти, возможности образования логических цепей, способность к целенаправленному поведению в незнакомой информационной среде и другие не менее важные качества. Своими успехами техника хранения и переработки информации в значительной степени обязана успехам в области микроэлектроники, в особенности в разработке больших и сверхбольших интегральных схем. Однако интеграция элементов в силу ряда причин сегодня уже не обеспечивает положительного результата. Микроэлектроника в своём развитии может вскоре столкнуться с рядом проблем, которые станут тормозом на пути дальнейшего роста интеграции схем хранения и преобразования информации. Очевидно, перспективы развития элементной базы устройств памяти и переработки информации должны быть связаны с использованием новых сред, новых физических принципов и явлений, которые могут быть положены в основу создания устройств с качественно иными, более высокими технико-экономическими показателями. И на их основе можно будет создать машины сравнимые с мозгом человека не только по принципу построения, но и по количеству заполняемой информации.

Множества сигналов.

При графическом представлении сигналы изображаются сложной совокупностью точек – кривой в простой области – в двумерном пространстве. В отличие от этого в теории сигналов вводят более сложные пространства – пространства сигналов, в которых каждый сигнал изображается простейшим элементом  – точкой. Рассмотрим сигнал как элемент множества S. Само множество определяется некоторым свойством P, которое есть утверждение, справедливое для любого элемента множества. Условно это изображается так:

т.е. S есть множество всех x, для которых справедливо P. Вводя дополнительное обозначение, можно записать

что означает: P верно для x, принадлежащих S. Определив свойство P, мы задаём тем самым множество сигналов. Обычно проще иметь дело со сравнительно узким множеством, ограниченным жёстким условием. Конечно, когда ограничение слишком жёстко, множество содержит мало полезных сигналов. Выбор свойства P – это сложная задача. Приведём несколько примеров, с которыми часто имеют дело в теории сигналов.

Гармонические сигналы. Обозначим через Sс множество всех гармонических сигналов (синусоидальных), т.е.

Утверждение  означает, что эти параметры могут произвольно выбираться из множества всех действительных чисел .

Re Z, Im Z – действительная, мнимая, часть числа Z.

Часто свойство P для конкретного множества можно указать в другой форме, например с помощью порождающего гармоническую функцию дифференциального уравнения

Периодические сигналы. Через Sп(T) обозначим множество периодических сигналов с периодом T.

Ограниченные сигналы. Множество сигналов, мгновенные значения которых ограничены по величине некоторым вещественным положительным числом A, обозначается:

Ясно, что

Сигналы с ограниченной энергией. О сигналах из множества

говорят, что их энергия ограничена величиной K, где K – положительное вещественное число. Интеграл физически трактуют как энергию, подразумевая, что x(t) есть напряжение на нагрузочном сопротивлении 1 Ом. Интеграл по времени от квадрата этого напряжения есть полная энергия, выделяющаяся на нагрузке.

 

Сигналы ограниченной длительности. Пусть  – это множество сигналов, которые равны нулю за пределами интервала времени – T ≤ t ≤ T:

Заметим, что

Имея дело с множествами сигналов, полезно применять две элементарные операции теории множеств: объединение, определяемое как

и пересечение, определяемое как

Операторы ∪и ∩ могут быть применены для получения разбиения множества на ряд непересекающихся подмножеств. Мы говорим, что совокупность множеств {S1,S2,S3,…} образуют разбиением множества S, если S = S1 ∪ S2 ∪ S3 ∪ … ; Si ∩ Sj = ∅  для i≠j

При разбитии множества обычно получают более удобные подмножества. Разбиение можно произвести с помощью отношения эквивалентности, и часто это наиболее подходящий способ получения разбиения. Мы говорим, что два элемента эквивалентны, x~y, если отношение эквивалентности ~ определено для всех пар элементов и удовлетворяет следующим свойствам:
x~x для любого x (рефлексивность),
x~y ⇒ y~x (симметрия),
x~y и y~z ⇒ x~z (транзитивность).
Каждое отношение эквивалентности естественным образом порождает разбиение множества на ряд подмножеств Sx, называемых множествами эквивалентности, причём Sx включает все элементы, эквивалентные х:

где x – некоторый элемент исходного множества.

С другой стороны, любое разбиение порождает отношение эквивалентности.

Возьмём пример, известный из теории чисел. Рассмотрим разбиение множества всех целых чисел

на конечное число m множеств эквивалентности:

где p – любое число.

Соответствующее отношение эквивалентности

называется конгруэнтностью (сравнимостью) по модулю m. Так, например, разбиение множества всех целых чисел на подмножества, конгруэнтные по модулю 2, приводит к разбиению на чётные и нечётные числа.

Если мы исключим подмножество сигналов

 , то отношение эквивалентности

 задаёт разбиение всех относительных сигналов на два подмножества эквивалентности:

(*)

Это разбиение широко используется в двоичных системах передачи сигналов, причём одно значение двоичной величины соответствует всем сигналам из S+, а другое – всем сигналам из S. Блок-схема двоичной системы передачи сигналов в этом случае имеет вид:

Хотя передаваемые сигналы могут быть только двух типов, в множество принимаемых сигналов входят сигналы, разнообразные по форме из-за шума и других помех, вносимых в канал передачи. Наблюдатель судит о том, какой сигнал из заданного разбиения (*) был передан по сигналу на выходе ограничителя. Не имеет значения, к какому из множеств S+ или S отнести сигналы из подмножества S0, так как вероятность их появления при приёме ничтожна.

Другой тип устройства для приёма двоичных сигналов, обладающий большей помехоустойчивостью, использует опорный сигнал ζ для разбиения принятых сигналов на два подмножества.

Разбиение на подмножества S1 и S2, соответствующее принятию решения о том, какой из сигналов x1, или x2 был передан, выполняется на принятых сигналах y по условию:

где r – наперёд заданный порог.

Приёмное устройство в этом случае имеет вид:

Устройство содержит умножитель, интегратор, прерыватель и пороговое устройство.

Опорный сигнал и величину порога выбирают по специальным алгоритмам оптимизации.

Ещё одна возможность различия сигналов состоит в подсчёте числа пересечений нулевого уровня за определённый промежуток времени. Мы задаём разбиение

где n = 0, 1, 2, …

Можно также получить конечное разбиение

  если условиться, что подмножество SN+ определено как множество сигналов, имеющих N или более нулей на заданном интервале. Блок-схема приёма и передачи сигналов в этом случае имеет вид:

Схема реализует передачу и приём (N+1) – буквенного алфавита, соответствующего заданному (**) разбиению.