Compresión y modelos de lenguaje resuelven el mismo problema: predicción
La compresión usa modelos de probabilidad para identificar redundancia: símbolos más frecuentes requieren menos bits (entropy coding con aritmética o Huffman). El contexto mejora la compresión: un modelo order-1 que considera el símbolo anterior reduce el tamaño comprimido más del 50% comparado a frecuencias simples.