Monografias.com > Uncategorized
Descargar Imprimir Comentar Ver trabajos relacionados

Elementos de Teoría de la Información (página 2)




Enviado por Pablo Turmero



Partes: 1, 2, 3

Monografias.com

17
Uno de ellos describe la máxima eficiencia posible de un método de corrección de errores ( codificación ) frente a los niveles de ruido y de corrupción de los datos. No dice nada sobre como implementar dicha codificación . En definitiva brinda el limite para la TX de bits (basándose en la Ley de los Grandes Números )
Teoría de Shannon

Monografias.com

18
C. E. Shannon, Bell System Technical Journal, vol. 27, pp. 379-423 and 623-656, July and October, 1948
A method is developed for representing any communication
system geometrically. Messages and the corresponding signals are
points in two “function spaces,” and the modulation process is a
mapping of one space into the other. Using this representation, a
number of results in communication theory are deduced concerning
expansion and compression of bandwidth and the threshold
effect. Formulas are found for the maximum rate of transmission
of binary digits over a system when the signal is perturbed by
various types of noise. Some of the properties of “ideal” systems
which transmit at this maximum rate are discussed. The equivalent
number of binary digits per second for certain information sources
is calculated.

Monografias.com

19
 C. E. Shannon (January 1949). "Communication in the presence of noise"  Proc. Institute of Radio Engineers vol. 37 (1): 10–21.
THE recent development of various methods of modulation such as PCM and PPM which exchange
bandwidth for signal-to-noise ratio has intensified the interest in a general theory of communication. A
basis for such a theory is contained in the important papers of Nyquist and Hartley on this subject. In the
present paper we will extend the theory to include a number of new factors, in particular the effect of noise
in the channel, and the savings possible due to the statistical structure of the original message and due to the
nature of the final destination of the information.
The fundamental problem of communication is that of reproducing at one point either exactly or approximately
a message selected at another point. Frequently the messages have meaning; that is they refer
to or are correlated according to some system with certain physical or conceptual entities. These semantic
aspects of communication are irrelevant to the engineering problem. The significant aspect is that the actual
message is one selected from a set of possible messages. The system must be designed to operate for each
possible selection, not just the one which will actually be chosen since this is unknown at the time of design.
If the number of messages in the set is finite then this number or any monotonic function of this number
can be regarded as a measure of the information produced when one message is chosen from the set, all
choices being equally likely. As was pointed out by Hartley the most natural choice is the logarithmic
function. Although this definition must be generalized considerably when we consider the influence of the
statistics of the message and when we have a continuous range of messages, we will in all cases use an
essentially logarithmic measure.

Monografias.com

20
Modelo de un Sistema de Comunicaciones

Monografias.com

21
“If the rate of Information is less
than the Channel capacity then there
exists a coding technique such that
the information can be transmitted
over it with very small probability of
error despite the presence of noise.”

Monografias.com

22
Información

Monografias.com

23
Definición : unidades

Monografias.com

24
1 Bit

Monografias.com

25
Fuente de memoria nula

Monografias.com

26
Memoria nula (cont)

Monografias.com

27
Entropía

Monografias.com

28
Entropía (cont)
La entropía de un mensaje X, que se representa por H(X), es el valor medio ponderado de la cantidad de información de los diversos estados del mensaje.

H(X) = – ? p(x) log2 p(x)

Es una medida de la incertidumbre media acerca de una variable aleatoria y el número de bits de información.
El concepto de incertidumbre en H puede aceptarse. Es evidente que la función entropía representa una medida de la incertidumbre, no obstante se suele considerar la entropía como la información media suministrada por cada símbolo de la fuente

Monografias.com

29
Entropía: Fuente Binaria

Monografias.com

30
a) La entropía es no negativa y se anula si y sólo si un estado de la variable es igual a 1 y el resto 0 .
b) La entropía es máxima, mayor incertidumbre del mensaje, cuando todos los valores posibles de la variable X son equiprobables (empíricamente fácil).
Si hay n estados equiprobables, entonces pi = 1/n.
Luego:
H(X) = – ? pi log2 pi = – n(1/n) log2 (1/n) = – (log2 1 – log2 n)
i
H(X)máx = log2 n

Propiedades de la entropía

Monografias.com

31
Si existe una segunda variable Y que influya sobre X, esto nos entregará importante información adicional.
H(X/Y) = – ? p(x,y) log2 p(x,y)
x,y
Luego:
H(X/Y) = – ? p(y) ? p(x/y) log2 p(x/y)
y x
La entropía se reduce: hay más orden y menos incertidumbre.
Entropía condicional
Donde p(x,y) = p(y)p(x/y) y la relación p(x/y) es la probabilidad de que se obtenga un estado X conocido el valor de Y.

Monografias.com

32
Sea X = {x1, x2, x3, x4} con p(xi) = 0.25
Sea ahora Y = {y1, y2, y3} con p(y1) = 0.5; p(y2) = 0.25; p(y3) = 0.25
Luego H(X) = 4 log2 4 = 2.0 y H(Y) = 2 log2 4 + log2 2 = 1.5
Además hay las siguientes dependencias entre X e Y:
Si Y = y1 ? X = x1 o x2 o x3 o x4 (cualquiera con igual probabilidad)
Si Y = y2 ? X = x2 o x3 (cualquiera con igual probabilidad)
Si Y = y3 ? X = x3 o x4 (cualquiera con igual probabilidad)
y=3 x=4
Como H(X/Y) = – ? p(y) ? p(x/y) log2 p(x/y)
y=1 x=1
H(X/Y) = – p(y1)[p(x1/y1)log2p(x1/y1) + p(x2/y1)log2p(x2/y1) + p(x3/y1)log2p(x3/y1) + p(x4/y1)log2p(x4/y1)]
– p(y2)[p(x1/y2)log2p(x1/y2) + p(x2/y2)log2p(x2/y2) + p(x3/y2)log2p(x3/y2) + p(x4/y2)log2p(x4/y2)]
– p(y3)[p(x1/y3)log2p(x1/y3) + p(x2/y3)log2p(x2/y3) + p(x3/y3)log2p(x3/y3) + p(x4/y3)log2p(x4/y3)]
Calculando, se obtiene H(X/Y) = 1.0 + 0.25 + 0.25 = 1.5. La entropía de X ha bajado en medio bit con el conocimiento de su relación con Y.
Ejemplo

Monografias.com

33
Extensión de una Fuente de Memoria Nula

Monografias.com

34
Fuente de Markov

Monografias.com

35
Fuente de Markov (cont)

Monografias.com

36
36
Establecer una correspondencia entre los símbolos de una fuente y los símbolos del alfabeto de un código.
Codificación de Fuente
Proceso encaminado a lograr una representación más eficiente de la información ( eliminar redundancia)*.

Monografias.com

37
Condiciones del código
37
singular
separable (Únicamente decodificable)
instantáneo

Monografias.com

38
38
m1 — 01 m1 — 0 m1 — 0 m1 — 0
m2 — 01 m2 — 01 m2 — 01 m2 — 10
m3 — 10 m3 — 001 m3 — 011 m3 — 110
a
b
c
d
(Gp:) No singular
(Gp:) singulares

(Gp:) no separable
(Gp:) separables

(Gp:) instantáneo*

Monografias.com

39
Condición de los prefijos
39
La condición necesaria y suficiente para que un código sea instantáneo es que sus palabras cumplan la condición de los prefijos:
No exista palabra que sea prefijo de otra palabra de longitud mayor

Monografias.com

40
40
Códigos
(Gp:) No Singulares
(Gp:) Singulares

(Gp:) No separables
(Gp:) Separables

(Gp:) No
instantáneos
(Gp:) Instantáneos

Partes: 1, 2, 3
 Página anterior Volver al principio del trabajoPágina siguiente 

Nota al lector: es posible que esta página no contenga todos los componentes del trabajo original (pies de página, avanzadas formulas matemáticas, esquemas o tablas complejas, etc.). Recuerde que para ver el trabajo en su versión original completa, puede descargarlo desde el menú superior.

Todos los documentos disponibles en este sitio expresan los puntos de vista de sus respectivos autores y no de Monografias.com. El objetivo de Monografias.com es poner el conocimiento a disposición de toda su comunidad. Queda bajo la responsabilidad de cada lector el eventual uso que se le de a esta información. Asimismo, es obligatoria la cita del autor del contenido y de Monografias.com como fuentes de información.

Categorias
Newsletter