Compresión y modelos de lenguaje resuelven el mismo problema: predicción
- La compresión usa modelos de probabilidad para identificar redundancia: símbolos más frecuentes requieren menos bits (entropy coding con aritmética o Huffman).
- El contexto mejora la compresión: un modelo order-1 que considera el símbolo anterior reduce el tamaño comprimido más del 50% comparado a frecuencias simples.
- Los LLM funcionan como compresores: predicen probabilidades del siguiente token basado en contexto previo, asignando menos bits a predicciones correctas de alta probabilidad.
- GPT-2 comprime una cita de Dickens a 176 bits (10% original) vs 434 bits (24% original) con modelo order-1, pero requiere gigabytes de modelo para descomprimir.
- LLM y compresión optimizan la misma métrica (entropía/cross-entropy): ambos son predictores que minimizan bits por símbolo, según paper de Google DeepMind 2023.
compresion datos · llm lenguaje · prediccion probabilidades · entropia informacion · arithmetic coding
Más en Tecnología
- Primeras impresiones de GTA VI: un GTA más parecido a Red Dead Redemption 2
- Ofertas TP-Link Black Friday para mejorar cobertura WiFi
- Comparación de modelos de IA en tareas Python: Hy4 Flash
- Adolescente de 14 años gana oro en Núremberg con dispositivo que extrae agua del aire para riego
- Cómo los medios de Latinoamérica narran los robots sociales