Compresión y modelos de lenguaje resuelven el mismo problema: predicción

· Tecnología

  1. La compresión usa modelos de probabilidad para identificar redundancia: símbolos más frecuentes requieren menos bits (entropy coding con aritmética o Huffman).
  2. El contexto mejora la compresión: un modelo order-1 que considera el símbolo anterior reduce el tamaño comprimido más del 50% comparado a frecuencias simples.
  3. Los LLM funcionan como compresores: predicen probabilidades del siguiente token basado en contexto previo, asignando menos bits a predicciones correctas de alta probabilidad.
  4. GPT-2 comprime una cita de Dickens a 176 bits (10% original) vs 434 bits (24% original) con modelo order-1, pero requiere gigabytes de modelo para descomprimir.
  5. LLM y compresión optimizan la misma métrica (entropía/cross-entropy): ambos son predictores que minimizan bits por símbolo, según paper de Google DeepMind 2023.

compresion datos · llm lenguaje · prediccion probabilidades · entropia informacion · arithmetic coding

Leer el original

Más en Tecnología