Погода
Календарь
Январь 2019
Пн Вт Ср Чт Пт Сб Вс
« Сен    
 123456
78910111213
14151617181920
21222324252627
28293031  
Страницы сайта

Перебор слов и системы счисления.

ИЗМЕРЕНИЕ КОЛИЧЕСТВА ИНФОРМАЦИИ

  • Кодирование — это представление информации в форме, удобной для её хранения, передачи и обработки. Правило преобразования информации к такому представлению называется кодом.
  • 1 бит – это количество информации, которое можно передать с помощью одного знака в двоичном коде (0или 1).

Единицы измерения:
1 байт (bytе) = 8 бит
1 Кб (килобайт) = 1024 байта
1 Мб (мегабайт) = 1024 Кб
1 Гб (гигабайт) = 1024 Мб
1 Тб (терабайт) = 1024 Гб
1 Пб (петабайт) = 1024 Тб

  • Алфавит — это набор знаков, используемый в том или ином языке.
  • Мощность алфавита — это количество используемых в алфавите знаков.
Мощность алфавита
  • Сообщение — это любая последовательность символов какого-либо алфавита.

Для вычисления количества информации применяются несколько различных формул в зависимости от ситуации:

ДВОИЧНОЕ КОДИРОВАНИЕ СООБЩЕНИЙ (РАВНОВЕРОЯТНОСТНЫЕ СОБЫТИЯ)

При вычислении количества информации в сообщении для равновероятностных событий, общее количество которых равно N, используется формула:
N = 2L

N — количество сообщений L — длиной битов

Пример: Зашифруем буквы А, Б, В, Г при помощи двоичного кодирования равномерным кодом и посчитаем количество возможных сообщений:

двоичное кодирование

Решение:
Таким образом, мы получили равномерный код, т. к. длина каждого кодового слова одинакова для всех кодовых слов (L = 2).

Количество сообщений длиной L битов: N = 2L

Количество сообщений длиной 2 бита, как в примере с нашими буквами, будет равно  N = 22 = 4

Ответ: 4

КОЛИЧЕСТВО РАЗЛИЧНЫХ СООБЩЕНИЙ В АЛФАВИТЕ РАЗНОЙ МОЩНОСТИ

Рассмотрим вариант с 5 буквами (мощность алфавита = 5), которые надо разместить в сообщении длиной символа:

 Формула для нахождения количества различных сообщений в алфавите различной мощности:

Если мощность некоторого алфавита составляет N, то количество различных сообщений длиной L знаков:

количество сообщений
  • N – мощность алфавита
  • L – длина сообщения
  • Q – количество различных сообщений

Количество информации и равновероятные события

При определении количества информации для равновероятностных событий могут понадобиться две формулы: Формула Шеннона: x = log2(1/p) x — количество информации в сообщении о событии p — ве­ро­ят­ность со­бы­тия Формула вероятности случайного события: p(A) = m / n — количество благоприятных исходов (число случаев, способствующих событию А) n — количество общих исходов (общее число равновозможных случаев)

Количество информации и неравновероятные события

При использовании неравновероятного события, вероятность которого равна p, для вычисления количества информации используется формула:i = -[log2p]

*квадратные скобки означают ближайшее целое, меньшее или равное значению выражения в скобках Формула Хартли:

Формула Хартли

Формула Хартли

I – количество информации в битах N – количество вариантов

Алфавитный подход:

Информационный объем сообщения длиной L:

Алфавитный подход

Алфавитный подход

N — мощность алфавита

L — длина сообщения

Top