Calculadora de tamaño y cuantización de modelos LLM

Introduce el número de parámetros de un modelo para ver cuánto ocupan sus pesos en cada formato habitual, de FP32 a Q2, en GB y GiB, y cuánto ahorra cada cuantización frente a FP16. Añade tus propios bits por peso para cualquier otro formato.

Procesado localmente en tu navegador. Tus datos no se suben a nuestros servidores.

Por ejemplo, 8 para un modelo de 8B. Los modelos de mezcla de expertos deben cargar todos sus parámetros.

Añade una fila para un formato que no figura en la lista, por ejemplo 4,5.

Resultado

Estimación

Introduce el número de parámetros para ver los tamaños.

Tamaño del modelo por formato
FormatoBits por pesoTamaño (GB)Tamaño (GiB)Respecto a FP16
FP32323229,8+100%
FP16161614,90%
BF16161614,90%
Q8_0≈ 8,50088,57,92−46,9%
INT8887,45−50%
Q6_K≈ 6,56336,566,11−59%
Q5_K_M≈ 5,70365,75,31−64,4%
Q4_K_M≈ 4,89444,894,56−69,4%
Q3_K_M≈ 3,99643,72−75%
Q2_K≈ 3,15933,162,94−80,3%

Q8_0 a Q2_K son formatos GGUF: sus bits por peso son los promedios del modelo completo publicados en el README de quantize de llama.cpp (medidos en Llama-3.1-8B, incluidas las capas que conservan mayor precisión). Los bits efectivos por peso varían según el modelo y la configuración de cuantización.

Ejemplos

Ejemplos resueltos (tamaños en GiB):

ParámetrosFP16Q8_0Q4_K_M
7B13,046,933,99
8B14,97,924,56
70B130,3969,2739,88

Fórmula y metodología

El tamaño de los pesos es:

tamaño en bytes = parámetros × bits por peso ÷ 8GB = bytes ÷ 1.000.000.000GiB = bytes ÷ 1.073.741.824cambio frente a FP16 = (bits por peso ÷ 16 − 1) × 100

Sobre los formatos

  • FP32 guarda cada peso en 32 bits; FP16 y BF16 usan 16 bits (BF16 conserva el rango numérico de FP32 con menos precisión).
  • INT8 guarda enteros de 8 bits; Q8_0 es un formato GGUF por bloques que además guarda una escala por bloque, por lo que queda algo por encima de 8 bits.
  • Q6_K, Q5_K_M, Q4_K_M, Q3_K_M y Q2_K son cuantizaciones «K» de GGUF: menos bits por peso y menor calidad a medida que baja el número.

Lo que este tamaño no incluye

  • Ejecutar un modelo también necesita memoria para la caché KV (que crece con la longitud de contexto) y para el motor de ejecución: usa la Calculadora de VRAM para LLM para ver el total.
  • Los archivos reales añaden metadatos y otra sobrecarga de almacenamiento, y los bits efectivos por peso varían según el modelo y la configuración de cuantización, así que toma el resultado como una estimación. Un margen de «pocos puntos porcentuales» es una estimación de ToolQuarter sin validar; la variación real puede ser mayor.
  • Los modelos de mezcla de expertos almacenan todos los expertos: usa el total de parámetros.

Método y referencias

Estas fuentes primarias respaldan los métodos en los que se basa esta herramienta. Haberlas leído no verifica cada resultado de la calculadora, y las cifras que figuran como supuestos son propias de ToolQuarter.

El tamaño es aritmética sencilla sobre el número de parámetros. Los bits por peso de los formatos GGUF proceden de las mediciones publicadas por llama.cpp.

  • llama.cpp: quantize README: Fuente de los bits por peso de Q8_0, Q6_K, Q5_K_M, Q4_K_M, Q3_K_M y Q2_K (por ejemplo, Q4_K_M 4,8944). Son promedios del archivo completo medidos en Llama-3.1-8B, por eso difieren del número del nombre. ()
  • PyTorch: Tensor Attributes: Define el flotante de 32 bits, el flotante de 16 bits (1 bit de signo, 5 de exponente y 10 de mantisa), bfloat16 (1, 8 y 7) y el entero de 8 bits que hay detrás de las filas FP32, FP16, BF16 e INT8. ()

Supuestos de ToolQuarter (sin fuente primaria):

  • Tamaño = parámetros × bits por peso ÷ 8 estima el almacenamiento de los pesos a partir del número de parámetros introducido. Los pesos de los embeddings se incluyen cuando forman parte de ese total. FP32, FP16, BF16 e INT8 usan anchuras de bits nominales; la estimación no contabiliza por separado el almacenamiento adicional, como las escalas de cuantización o los metadatos del archivo.
  • Los bits efectivos por peso varían según el modelo y la configuración de cuantización, y llama.cpp midió un solo modelo. Cualquier margen de «pocos puntos porcentuales» es una estimación de ToolQuarter sin validar, y la variación real puede ser mayor. Usar el total de parámetros en los modelos de mezcla de expertos es una recomendación de ToolQuarter, sin fuente consultada.

Cómo usar

  1. Introduce el número de parámetros en miles de millones (por ejemplo, 8 para un modelo de 8B).
  2. Si quieres, añade un valor personalizado de bits por peso para otro formato.
  3. Consulta el tamaño de los pesos en cada formato, en GB y GiB, y el ahorro frente a FP16.
  4. Usa la Calculadora de VRAM para LLM para añadir la caché KV y la sobrecarga de ejecución.

Preguntas frecuentes

¿Por qué Q4_K_M no son exactamente 4 bits por peso?

Las cuantizaciones «K» de GGUF guardan bloques pequeños con valores de escala y mantienen algunos tensores con mayor precisión, así que el promedio del modelo completo es mayor de lo que sugiere el nombre: unos 4,89 bits para Q4_K_M en las cifras publicadas de llama.cpp.

¿El tamaño del archivo es igual a la memoria que necesito?

No. Ejecutar un modelo también necesita memoria para la caché KV, que crece con la longitud de contexto, y para la sobrecarga del motor de ejecución. Usa la Calculadora de VRAM para LLM para ver el total.

¿Cuál es la diferencia entre FP16 y BF16?

Ambos usan 16 bits, así que su tamaño es el mismo. BF16 conserva el amplio rango numérico de FP32 con menos precisión; FP16 tiene más precisión pero un rango más estrecho.

¿Debo comparar GB o GiB con mi disco o mi GPU?

Los tamaños de disco y de descarga suelen indicarse en GB, mientras que la capacidad de las GPU y de la RAM se cuenta normalmente en GiB. Esta herramienta muestra ambos para que compares magnitudes equivalentes.

¿Qué precisión tiene el tamaño de un archivo de modelo real?

Es una aproximación: los archivos reales añaden metadatos y otra sobrecarga de almacenamiento, y los bits efectivos por peso varían según el modelo y la configuración de cuantización. Un margen de «pocos puntos porcentuales» es una estimación de ToolQuarter sin validar; la variación real puede ser mayor.

Última actualización: