itslabtime.com

Información · Computación · Representación de Datos

Compresión sin pérdidas y entropía de la información

La compresión utiliza la repetición o las diferencias en frecuencia dentro de los datos para representarlos con menos símbolos. Sin embargo, ningún método puede siempre reducir todos los datos a un tamaño menor.

Experimento relacionado: Compresión de datos →
Compresión de datos
Compresión de datos: vista de la simulación →

Significado y funcionamiento

La compresión sin pérdida debe ser capaz de restaurar los datos originales exactamente a partir de la representación comprimida. El codificación RunLength utiliza la repetición continua, mientras que la codificación Huffman utiliza las diferencias en la frecuencia de los símbolos.

Es importante asignar códigos cortos a los símbolos que aparecen con frecuencia, pero estos códigos no deben generar ambigüedad. Utilizar longitudes de secuencia para datos con poca repetición puede aumentar el tamaño debido a la información de frecuencia.

Relaciones y condiciones de validez

La entropía H es una referencia para el contenido de información promedio ideal de una distribución de símbolos. En el codificación de Huffman binaria con múltiples símbolos, la longitud promedio del código L puede ser comparada con H ≤ L < H+1.

El experimento excluye el uso de un alfabeto limitado y un número fijo de bits originales, y excluye el costo de almacenamiento de las tablas de Huffman. En archivos reales, también deben incluirse los costos de los encabezados y del diccionario, así como los costos de los bloques.

Qué observar en la simulación

La repetición y frecuencia determinan la eficiencia.

Se usan cuatro símbolos de 8 bits; RLE guarda símbolo y cuenta de 8 bits. Se excluye la tabla Huffman.

Relaciones y símbolos clave

H ≤ L < H + 1 · ratio = compressed / original

Símbolos y unidades de las fórmulas
SímboloSignificadoUnidad
HEntropía de información por símbolobit/símbolo
LLongitud media del códigobit/símbolo
Relación de compresióntamaño comprimido/tamaño originalAdimensional

Ejemplo resuelto

¿Cómo se codifican símbolos frecuentes en Huffman?

Suele ser más corto · La repetición y frecuencia determinan la eficiencia.

Errores frecuentes

  • El hecho de que el código en sí mismo haya disminuido en tamaño no significa que el archivo real guardado en su totalidad haya disminuido en la misma proporción.

Explorar este concepto con experimentos

Referencias

OpenStax · Introduction to Computer Science (inglés)