1. Ing. Edwin J. Ortega Zuñiga

2.  La Teoría de la Información es una teoría matemática
creada por Claude Shannon en el año 1948 y que forma
la piedra angular sobre la que se ha desarrollado toda la
teoría actual de la comunicación y la codificación.

3.  Pero no se refiere a las personas como protagonistas de
la comunicación, sino al proceso desde la perspectiva.

4. La teoría de Shannon analiza el
proceso de comunicación desde
la perspectiva de:
 Sus aspectos medibles.
 A las condiciones idóneas de
transmisión de información entre
máquinas.
 Al cálculo de la pérdida de
información transmitida a través
de un canal.

6.  Puede definirse alternativamente la
teoría de la información, como el
campo de la cibernética que se ocupa
de la descripción y evaluación
matemática de los métodos de
transmisión, conservación, extracción,
clasificación y medida de la
información.

7.  El estudio de la teoría de la información
debe permitir: conocer las técnicas de
cifrado, corrección y detección de
errores y procesos de eliminación de
redundancia en una información,

9.  Una fuente es todo aquello que emite mensajes. Por
ejemplo, una fuente puede ser una computadora y
mensajes sus archivos, una fuente puede ser un
dispositivo de transmisión de datos y mensajes los datos
enviados, etc.

10.  Un mensaje es un conjunto de ceros y unos. Un archivo,
un paquete de datos que viaja por una red y cualquier
cosa que tenga una representación binaria puede
considerarse un mensaje.

11.  Un código es un conjunto de unos y ceros que se usan
para representar a un cierto mensaje de acuerdo a
reglas o convenciones preestablecidas. Por ejemplo al
mensaje 0010 lo podemos representar con el código
1101 usando para codificar la función (NOT). La forma
en la cual codificamos es arbitraria.

12.  La información contenida en un mensaje es proporcional
a la cantidad de bits que se requieren como mínimo para
representar al mensaje.

14.  Precisión
 Exactitud
 Oportunidad
 Integridad
 Significativa

15.  En un sistema de comunicación, es un elemento que
produce mensajes, y éstos pueden ser análogos o
discretos. Una fuente discreta está formada por un
conjunto finito de símbolos. Las fuentes de información
pueden clasificarse en fuentes con memoria y fuentes
sin memoria.

16.  La cantidad de información de un mensaje, es
inversamente proporcional a la probabilidad de
ocurrencia.
 Si un evento es conocido, la información aportada es
cero, de hecho su probabilidad de ocurrencia es uno.
 La probabilidad de un mensaje siempre estará en un
valor entre cero y uno.
I xi Log 2 1 Bits
P x1

17.  Si existe un mensaje x1, con una probabilidad de ocurrencia
P(x1), el contenido de información puede expresarse según
I xi Log 2 1 Bits
P x1
tendrá como unidad el bit, si empleamos logaritmos binarios.
 Tendrá como unidad el HARTLEY, si empleamos logaritmos
decimales.
 Tendrá como unidad el NAT, si empleamos logaritmos
naturales.
 La conversión de unidades podrá realizarse de acuerdo a la
siguiente expresión: Log 2 a ln a / ln 2 log a / log 2

18.  Es un parámetro que nos permite determinar el
contenido promedio de información de una fuente o un
mensaje en particular. En un proceso de comunicación,
transmitimos usualmente secuencias largas de
símbolos, y estamos mas interesados en el contenido
promedio de información que la fuente produce, que en
la información contenida en cada símbolo. Luego:
m m
H X E I xi P( xi ) I ( xi ) P xi log 2 P( xi )bit / simbolo
i 1 i 1

19.  Si la fuente emite símbolos a una rata r
(símbolos/segundo), la rata o velocidad de emisión de
información de la fuente puede expresarse como:
R r * H ......
r rata _ de _ símbolos _ en _ Simbolos / Segundo, H entropia _ en _ Bit / Símbolo.
 Por lo anterior podemos decir que el contenido de
información de cualquier mensaje es igual al mínimo
número de dígitos que se requieren para codificarlo. La
entropía es igual al mínimo número de dígitos por
mensaje o símbolo, en promedio, necesarios para
codificarlo.

20.  Es la trayectoria o medio a través del que fluyen los
símbolos del origen al destino. Un canal discreto sin
memoria, (DMC), es un modelo estadístico, con una
entrada X, y una salida Y. Durante cada unidad de
tiempo, o intervalo de señalización, el canal acepta un
símbolo de entrada de X, y en respuesta genera un
símbolo de salida de Y. El canal es discreto, cuando los
alfabetos X, Y, son finitos.

21. La figura muestra un canal DMC, con 2 entradas y 2 salidas
La entrada X, consiste de los símbolos de entrada x1, x2. Sus
probabilidades a priori se conocen: P(xi). La salida Y, consiste
de los símbolos y1, y2. Cada posible trayectoria de entrada –
salida, se expresa con una probabilidad condicional P(yi/xj),
donde P (xi/yj) P( y1/x1 ) P( y1/x1 ), es la probabilidad condicional
de obtener la salida yj, dada la entrada xi, y es llamada la
probabilidad de transcición del canal.:

22.  Un canal pude especificarse por el conjunto completo de
probabilidades de transición. Se genera la matriz [P(Y/X)],
conocida como matriz del canal.
j n
P( yj / xi) 1para todo i
j 1
 Si las probabilidades de entrada se representan por la matrx
fila: [P(X) = [P(x1) P(x2) .....P(xm) ] ; las probabilidades de
salida se representan por la matrix fila: [P(Y) = [P(y1) P(y2)
.....P(ym) ] luego:

 [P(Y)] = [P(X)] * [P(Y/X)].

23.  Es un parámetro que nos indica cual es la cantidad máxima de bits,
que un canal puede soportar.
 Así por ejemplo para un canal perturbado por ruido Gaussiano, la
capacidad de canal puede calcularse como:
S bit
C Bw.Log 2 1
N seg
Donde
 C = Capacidad máxima de transporte del canal en bits por segundo.
 Bw = Es el ancho de banda del canal en Hertz.
S
 N = Es la relación de potencia de señal a potencia de ruido que
soporta el canal.

24.  Es el proceso por el cuál, la salida de una fuente de
información, se convierte en una secuencia binaria. El
elemento que realiza éste proceso se conoce como
“codificador fuente ” (Códec).

25.  Uno de los objetivos es el de minimizar la rata promedio
de bits, necesarios para la representación de la
información, reduciendo la redundancia de la fuente.
Fuente de Codificador
información (Fuente)
 . Existe una longitud de código, y una eficiencia de
código. La eficiencia de la codificación procura en
aproximar la longitud promedio de las palabras de
código (número promedio de dígitos binarios), a la
entropía de la fuente.

26.  Su propósito: es el de diseñar códigos que permitan una
óptima transmisión de información digital sobre el canal.
En última instancia permite desarrollar técnicas
eficientes para la detección y corrección de errores.
Codificador Codificador
(Fuente) del canal
 La señal puede provenir de un codificador fuente ó de
una fuente binaria directamente.

27. Símbolos Salida Secuencia
binaria codificada
Fuente de Codificador Codificador
S
información (Fuente) del canal

28.  Es el arte o ciencia de representar la información en
forma compacta.
 El código Morse es un prototipo de la compresión:
procura reducir el tiempo promedio de transmisión,
asignando palabras de código cortas, a las letras mas
frecuentes: { e = - , a = . - }. El Braille, es otro ejemplo de
código con compresión.

29.  El proceso presenta una entrada de
símbolos X, al cuál aplicamos un
algoritmo específico y obtenemos
una secuencia de salida Y , tal que
Y < X. Decimos que hay un orden o
relación de compresión n = X/Y,
n>1

30.  Implica no pérdida de información. Los datos originales
se recuperan exactamente del modelo comprimido. Es
usado para textos, datos de computadoras y otros
formatos que exigen integridad de la información. Los
índices de compresión son aún bajos.

31.  Implica pérdidas de información. La información
compactada generalmente no puede reproducirse en
forma exacta. Se logran altos índices de compresión.
Ej.: la voz, el audio, el video, fotografías. Se opera con
fundamento en medidas de satisfacción. La información
análoga generalmente admite éste tipo de compresión.

32. El algoritmo de compresión se
evalúa según:
 Su complejidad.
 La cantidad de memoria requerida
para su implementación.
 Velocidad de realización del
proceso.
 Relación de compresión obtenida.
 Calidad de la señal reconstruida.