¿Puede mi PC ejecutar este LLM?
Comprueba si un modelo de lenguaje local cabe en tu memoria. Introduce la VRAM de tu GPU, la memoria unificada o la RAM del sistema, elige un modelo y una cuantización, y consulta si cabe, cuánta memoria sobra o falta, y qué formato de menor precisión o modelo más pequeño probar.
Resultado
Introduce la memoria de que dispones y el tamaño del modelo para comprobarlo.
- Necesidad estimada
- Recomendado (con margen)
- Disponible
- Margen
Esto es solo una comprobación de memoria. No predice la velocidad (tokens por segundo) ni garantiza que un motor concreto admita el modelo.
Ejemplos
Ejemplos resueltos (caché KV en FP16, sobrecarga de ejecución de 1 GiB, 10% de margen):
| Memoria | Modelo · cuantización · contexto | Resultado |
|---|---|---|
| 8 GiB de GPU | Llama 3.1 8B · Q4_K_M · 8192 | Cabe con holgura. Memoria sobrante respecto a lo recomendado: 0,29 GiB. |
| 24 GiB de GPU | Qwen2.5 32B Instruct · Q4_K_M · 8192 | Cabe, pero justo. Cabe con 1,98 GiB de sobra, menos que el 10% de margen: espera problemas con prompts más largos u otras aplicaciones abiertas. |
| 24 GiB de GPU | Llama 3.1 70B · Q4_K_M · 8192 | No cabe. Faltan 19,88 GiB. |
| 64 GiB unificada | Llama 3.1 70B · Q4_K_M · 8192 | Cabe con holgura. Memoria sobrante respecto a lo recomendado: 12,28 GiB. |
Fórmula y metodología
La comprobación compara la memoria de que dispones con la necesidad estimada:
disponible = memoria − reservadanecesidad = pesos + caché KV + sobrecarga de ejecucióncabe con holgura si disponible ≥ necesidad × (1 + margen ÷ 100)cabe, pero justo si necesidad ≤ disponible < necesidad × (1 + margen ÷ 100)Lo que esta comprobación no cubre
- Velocidad: que quepa en memoria no dice nada de los tokens por segundo, que dependen del ancho de banda de memoria, del cálculo y del motor de ejecución.
- Descarga de capas: el reparto entre GPU y RAM del sistema no se modela; la herramienta pregunta si todo cabe en la memoria que has elegido.
- Los modelos con atención latente multicabeza, ventana deslizante o atención híbrida pueden necesitar mucha menos caché KV que la fórmula estándar.
- Los motores difieren en sus búferes y en los modelos y formatos que admiten.
- Para ver tamaños habituales por modelo y formato, consulta las tablas de referencia de VRAM para LLM.
Método y referencias
Estas fuentes primarias respaldan los métodos en los que se basa esta herramienta. Haberlas leído no verifica cada resultado de la calculadora, y las cifras que figuran como supuestos son propias de ToolQuarter.
La comprobación usa la misma aritmética de pesos y caché KV que la calculadora de VRAM y la compara con la memoria que introduces. La memoria reservada y los umbrales de ajuste son reglas prácticas de ToolQuarter, y caber en memoria no dice nada de la velocidad.
- llama.cpp: quantize README: Fuente de los bits por peso de los formatos de cuantización GGUF (por ejemplo, Q4_K_M 4,8944), medidos en Llama-3.1-8B. Otros modelos y archivos varían. ()
- PagedAttention paper (arXiv:2309.06180v1): Da la caché KV por token como 2 (claves y valores) × tamaño oculto × capas × bytes por valor, con un ejemplo de 800 KB por token para un modelo de 13B en FP16. Esta herramienta escribe el mismo producto con cabezas KV y dimensión de cabeza. ()
- llama.cpp: server README: Documenta la opción --gpu-layers, el número máximo de capas almacenadas en VRAM, que es como un motor puede colocar solo una parte del modelo en la GPU. Esta herramienta no modela la descarga de capas. ()
- NIST: Prefixes for binary multiples: Define el gibibyte como 2^30 bytes (1.073.741.824) y el gigabyte como 10^9 bytes, por eso GB y GiB difieren en torno a un 7 %. ()
Supuestos de ToolQuarter (sin fuente primaria):
- La memoria reservada (0,5 GiB para una GPU, 4 GiB para memoria unificada o CPU), la sobrecarga de ejecución de 1 GiB y el margen del 10 % que separan «Cabe con holgura», «Cabe, pero justo» y «No cabe» son reglas prácticas de ToolQuarter, no límites medidos.
- Cuánto de un fondo unificado puede direccionar la GPU, y la idea de que el ancho de banda de memoria suele limitar la velocidad de la CPU, son afirmaciones generales de ToolQuarter sin fuente consultada aquí. El resultado es una comprobación de memoria sobre el papel: no estima la velocidad ni confirma que un motor admita el modelo.
Cómo usar
- Elige dónde se ejecutará el modelo e introduce la memoria de que dispones en GiB.
- Escoge un modelo predefinido o introduce sus parámetros, y luego una cuantización y una longitud de contexto.
- Abre «Arquitectura» (un modelo predefinido la rellena) para que se incluya la caché KV.
- Lee si cabe y sigue las sugerencias si no es así.
Preguntas frecuentes
¿Puedo ejecutar un modelo más grande que mi VRAM?
Algunos motores pueden descargar parte del modelo a la RAM del sistema o a la CPU, lo que funciona pero suele ser mucho más lento. Esta herramienta responde a una pregunta más estricta: ¿cabe todo en la memoria que has seleccionado?
¿Que quepa en memoria significa que irá rápido?
No. La velocidad depende del ancho de banda de memoria, del cálculo de la GPU y del motor de ejecución. Esta herramienta solo comprueba la memoria y nunca promete una velocidad.
¿Qué puedo hacer si no cabe?
Usa una cuantización de menor precisión, acorta el contexto, reduce el número de secuencias simultáneas, guarda la caché KV con menor precisión, elige un modelo más pequeño o añade memoria (por ejemplo, con varias GPU).
¿Cómo se trata la memoria unificada?
La GPU y la CPU comparten un único bloque, así que todo el bloque está disponible para el modelo menos lo que usan el sistema y otras aplicaciones. Algunos sistemas también limitan qué parte del bloque puede direccionar la GPU; aumenta la cantidad reservada para tenerlo en cuenta.
¿Por qué un resultado se marca como «justo» en lugar de «cabe»?
La estimación tiene incertidumbre: los motores añaden búferes y el uso real puede superar el promedio en momentos puntuales. «Justo» significa que cabe sobre el papel pero deja menos que tu margen, por lo que pequeñas diferencias podrían hacer que falle.
Última actualización: