Calculadora de VRAM para LLM
Estima cuánta memoria de GPU o del sistema necesita un modelo de lenguaje grande para ejecutarse en local. Elige un modelo predefinido o introduce su tamaño, escoge una cuantización y una longitud de contexto, y consulta los pesos, la caché KV y la sobrecarga, con todos los supuestos visibles y editables.
Resultado
Estimación
Introduce el número de parámetros para ver la estimación.
- Pesos del modelo
- Caché KV
- Sobrecarga de ejecución
- Total estimado
- Recomendado (con margen)
Los pesos y la caché KV siguen fórmulas exactas aplicadas a tus números. Los bits efectivos de un formato de cuantización, la sobrecarga de ejecución y el margen son supuestos: el consumo real depende del motor de ejecución y de su versión.
Ejemplos
Ejemplos resueltos (sobrecarga de ejecución de 1 GiB, caché KV en FP16):
| Modelo | Cuantización · contexto | Pesos | Caché KV | Total |
|---|---|---|---|---|
| Llama 3.1 8B | Q4_K_M · 8192 | 4,56 GiB | 1 GiB | 6,56 GiB |
| Llama 3.1 70B | Q4_K_M · 8192 | 39,88 GiB | 2,5 GiB | 43,38 GiB |
| Qwen2.5 7B Instruct | FP16 · 32.768 | 14,17 GiB | 1,75 GiB | 16,92 GiB |
Tablas de referencia: memoria de LLM por modelo y formato
El almacenamiento de los pesos se estima como parámetros × bits por peso ÷ 8; la caché KV y la sobrecarga de ejecución se suman aparte.
Ambas tablas suponen: contexto de 8192 tokens; secuencias 1; precisión de la caché KV FP16; sobrecarga de ejecución de 1 GiB. No incluyen margen: el margen predeterminado de la calculadora es del 10 %, así que añádelo si quieres una cifra recomendada.
Todos los valores están en GiB (un GiB son 1.073.741.824 bytes), con dos decimales. Los modelos son los preajustes de la calculadora.
| Modelo | FP16 | Q8_0 | Q4_K_M |
|---|---|---|---|
| Llama 3.1 8B | 14,90 | 7,92 | 4,56 |
| Llama 3.1 70B | 130,39 | 69,27 | 39,88 |
| Llama 3.1 405B | 754,37 | 400,80 | 230,76 |
| Qwen2.5 7B Instruct | 14,17 | 7,53 | 4,34 |
| Qwen2.5 14B Instruct | 27,38 | 14,55 | 8,38 |
| Qwen2.5 32B Instruct | 60,54 | 32,16 | 18,52 |
| Qwen3 8B | 15,27 | 8,11 | 4,67 |
Excluye la caché KV, la sobrecarga de ejecución, las activaciones y el margen.
| Modelo | Caché KV | Total FP16 | Total Q8_0 | Total Q4_K_M |
|---|---|---|---|---|
| Llama 3.1 8B | 1,00 | 16,90 | 9,92 | 6,56 |
| Llama 3.1 70B | 2,50 | 133,89 | 72,77 | 43,38 |
| Llama 3.1 405B | 3,94 | 759,31 | 405,73 | 235,70 |
| Qwen2.5 7B Instruct | 0,44 | 15,61 | 8,97 | 5,77 |
| Qwen2.5 14B Instruct | 1,50 | 29,88 | 17,05 | 10,88 |
| Qwen2.5 32B Instruct | 2,00 | 63,54 | 35,16 | 21,52 |
| Qwen3 8B | 1,13 | 17,40 | 10,24 | 6,80 |
Incluye la caché KV y la sobrecarga de ejecución indicadas arriba. Excluye el margen, los picos de activaciones y las asignaciones del motor que no se modelan.
Lo que estas tablas no dicen
- Son estimaciones basadas en fórmulas, no mediciones de rendimiento. Una configuración que cabe sobre el papel puede no ejecutarse en un motor concreto.
- Los tamaños de Q8_0 y Q4_K_M usan los bits efectivos por peso publicados para los formatos GGUF de llama.cpp, medidos en un solo modelo (Llama-3.1-8B); los archivos reales pueden variar.
- Los totales son estimaciones antes de la colocación propia de cada motor. No significan que toda la memoria se comporte como un único fondo ni que un modelo de la lista quepa en una sola GPU; no se modelan la descarga de capas ni el reparto entre varias GPU.
- Las tablas incluyen modelos densos. Los modelos de mezcla de expertos necesitan el total de parámetros y un tratamiento aparte de dónde se almacenan los expertos.
- Los modelos con atención de ventana deslizante o latente pueden usar mucha menos caché KV que la fórmula estándar usada aquí.
Fórmula y metodología
La calculadora suma tres partes:
pesos = parámetros × bits por peso ÷ 8caché KV = 2 × capas × cabezas KV × dimensión de cabeza × tokens × bytes por valor × secuenciastotal = pesos + caché KV + sobrecarga de ejecuciónrecomendado = total × (1 + margen ÷ 100)Lo que esta estimación no cubre
- Los modelos de mezcla de expertos deben cargar todos los expertos, así que usa el total de parámetros y no el de parámetros «activos».
- Los modelos con atención latente multicabeza, ventana deslizante o atención híbrida pueden usar mucha menos caché KV que la fórmula estándar.
- El procesamiento del prompt puede necesitar brevemente más memoria que la generación en régimen estable, y cada motor añade sus propios búferes.
- GB (10^9 bytes) y GiB (2^30 bytes) difieren en torno a un 7%: las GPU y la RAM vendidas como «24 GB» suelen ser 24 GiB.
Método y referencias
Estas fuentes primarias respaldan los métodos en los que se basa esta herramienta. Haberlas leído no verifica cada resultado de la calculadora, y las cifras que figuran como supuestos son propias de ToolQuarter.
Los pesos y la caché KV se obtienen con aritmética sobre los números que introduces. La sobrecarga de ejecución y el margen son supuestos de ToolQuarter, y el uso real de memoria depende del motor de ejecución.
- llama.cpp: quantize README: Fuente de los bits por peso de los formatos de cuantización GGUF (por ejemplo, Q4_K_M 4,8944), medidos en Llama-3.1-8B. Otros modelos y archivos varían. ()
- PagedAttention paper (arXiv:2309.06180v1): Da la caché KV por token como 2 (claves y valores) × tamaño oculto × capas × bytes por valor, con un ejemplo de 800 KB por token para un modelo de 13B en FP16. Esta herramienta escribe el mismo producto con cabezas KV y dimensión de cabeza, así que también cubre los modelos que comparten cabezas KV. ()
- Mixtral of Experts paper (arXiv:2401.04088v1): Define los parámetros totales y activos de un modelo de mezcla de expertos: cada token tiene acceso a 47B parámetros pero usa 13B. El artículo no trata la memoria. ()
- llama.cpp: server README: Documenta --cpu-moe y --n-cpu-moe, que mantienen los pesos de mezcla de expertos en la memoria de la CPU en lugar de la VRAM, y --gpu-layers, el número máximo de capas almacenadas en VRAM. ()
- NIST: Prefixes for binary multiples: Define el gibibyte como 2^30 bytes (1.073.741.824) y el gigabyte como 10^9 bytes, por eso GB y GiB difieren en torno a un 7 %. ()
Supuestos de ToolQuarter (sin fuente primaria):
- La sobrecarga de ejecución (1 GiB por defecto) y el margen (10 %) son reglas prácticas de ToolQuarter, no cifras de una fuente. La sobrecarga real depende del motor de ejecución y de su versión, y el procesamiento del prompt puede necesitar brevemente más memoria que la generación estable; la memoria de activaciones no se modela.
- Usar el total de parámetros en los modelos de mezcla de expertos es una inferencia de ToolQuarter: todos los expertos tienen que almacenarse en algún sitio, pero algunos motores pueden mantener los pesos de los expertos en la RAM del sistema en lugar de la VRAM (por ejemplo, la opción --cpu-moe de llama.cpp). Que una tarjeta vendida como «24 GB» tenga 24 GiB es un supuesto de trabajo: consulta la especificación del fabricante.
Cómo usar
- Elige un modelo predefinido o introduce los parámetros en miles de millones.
- Escoge una cuantización y la longitud de contexto que piensas usar.
- Abre «Arquitectura» e introduce capas, cabezas KV y dimensión de cabeza (un modelo predefinido las rellena) para incluir la caché KV.
- Ajusta los supuestos de sobrecarga y margen si conoces tu motor de ejecución y lee el total.
Preguntas frecuentes
¿Cuánta VRAM necesito para ejecutar un modelo de 8B?
Depende de la cuantización y del contexto. Por ejemplo, con Q4_K_M un modelo de 8B necesita unos 4,6 GiB para los pesos; con un contexto de 8K (unos 1 GiB de caché KV) y aproximadamente 1 GiB de sobrecarga de ejecución, cuenta con unos 6,6 GiB, o unos 7,2 GiB con un 10% de margen. Solo los pesos en FP16 son unos 14,9 GiB.
¿Por qué un contexto más largo necesita más memoria?
La caché KV guarda claves y valores de cada token del contexto en cada capa, así que crece linealmente con la longitud de contexto y con el número de secuencias simultáneas. Los contextos largos pueden necesitar más memoria que los propios pesos.
¿Es exacto este resultado?
Las partes de pesos y de caché KV son aritmética exacta sobre los números que introduces. Los bits efectivos por peso de un formato de cuantización, la sobrecarga de ejecución y el margen son estimaciones y supuestos, así que toma el total como una cifra de planificación y deja cierto margen.
¿Cuál es la diferencia entre GB y GiB?
1 GB son 1.000.000.000 de bytes y 1 GiB son 1.073.741.824 bytes. La memoria de las GPU y de la RAM se cuenta normalmente en GiB aunque figure como GB, por eso esta herramienta muestra ambas unidades y compara en GiB.
¿Un modelo de mezcla de expertos necesita menos memoria?
No en cuanto a los pesos: hay que cargar todos los expertos, así que la memoria depende del total de parámetros. Solo es menor el cálculo por token.
Última actualización: