Planificador de memoria LLM multi-GPU

Planifica si un modelo cabe en varias GPU. Introduce el número de GPU y la VRAM de cada una, el tamaño del modelo y la cuantización, la caché KV y el modo de reparto, y consulta la memoria agrupada, lo que debe alojar cada GPU y cuántas GPU necesitarías.

Procesado localmente en tu navegador. Tus datos no se suben a nuestros servidores.

Se supone que todas las GPU son idénticas. Una tarjeta de «24 GB» tiene 24 GiB.

Las cifras predefinidas proceden de la documentación oficial de cada modelo, verificadas por última vez el 3 de octubre de 2026. Puedes editar cualquier número.

Fuente: Llama 3 paper, Table 3

Por ejemplo, 8 para un modelo de 8B. Los modelos de mezcla de expertos deben cargar todos sus parámetros.

Se usa en el reparto por capas: las capas no siempre se dividen por igual entre las GPU, así que la más cargada aloja algo más.

Calcúlala con la Calculadora de memoria de caché KV, o introduce 0 para no incluirla.

Supuesto: cada GPU paga sus propios búferes de ejecución. Lo habitual son 0,5–1 GiB.

Resultado

Estimación

Introduce el número de GPU, la VRAM por GPU y el tamaño del modelo para planificar.

La memoria agrupada no es una garantía

  • La VRAM agrupada no implica velocidad lineal: más GPU suman memoria, pero la comunicación entre ellas (PCIe o NVLink) suele limitar la velocidad.
  • La compatibilidad varía según el motor: el reparto por capas está muy extendido, mientras que el paralelismo tensorial depende del motor y suele exigir que el número de GPU divida el número de cabezas de atención.
  • El plan supone GPU idénticas y un reparto uniforme o por capas completas. No se modelan GPU mixtas, burbujas de canalización ni búferes del motor.
  • Esto es solo un plan de memoria: no predice la velocidad ni si tu motor admite el modelo.

Ejemplos

Ejemplos resueltos (Llama 3.1, Q4_K_M, contexto de 8K, caché KV en FP16, 1 GiB de sobrecarga por GPU):

GPUModeloRepartoGPU más cargadaResultado
1 × 24 GiBLlama 3.1 70BCapas43,38 GiB / 24 GiBNo cabe
2 × 24 GiBLlama 3.1 70BCapas22,19 GiB / 24 GiBCabe
4 × 80 GiBLlama 3.1 405BTensorial59,67 GiB / 80 GiBCabe

Fórmula y metodología

El planificador reparte el modelo y suma la sobrecarga propia de cada GPU:

pesos = parámetros × bits por peso ÷ 8por GPU = (pesos + caché KV) × parte del modelo en esa GPU + sobrecarga de ejecuciónreparto por capas: la GPU más cargada aloja ⌈capas ÷ GPU⌉ capas; reparto tensorial: cada GPU aloja 1 ÷ GPUcabe si por GPU ≤ VRAM por GPU

Para ver tamaños habituales por modelo y formato, consulta las tablas de referencia de VRAM para LLM.

Método y referencias

Estas fuentes primarias respaldan los métodos en los que se basa esta herramienta. Haberlas leído no verifica cada resultado de la calculadora, y las cifras que figuran como supuestos son propias de ToolQuarter.

El planificador divide los pesos y la caché KV según el reparto y suma la sobrecarga de cada GPU. Las fuentes muestran cómo los motores reparten los modelos entre GPU; la memoria agrupada no es un único fondo compartido, y no se estima la velocidad.

  • llama.cpp: server README: Documenta los modos de reparto de llama.cpp: layer (el predeterminado; reparte capas y caché KV entre las GPU, en tubería), row (reparte los pesos por filas, con una GPU principal que guarda los resultados intermedios y la KV) y tensor (experimental), además de --tensor-split para proporciones desiguales. Los motores colocan la caché KV de formas distintas, así que el reparto uniforme que se usa aquí es una simplificación. ()
  • vLLM: Parallelism and Scaling: Describe el paralelismo de tensores para un modelo demasiado grande para una GPU pero que cabe en un nodo, y el paralelismo en tubería, que reparte por capas y admite repartos desiguales. Aconseja el paralelismo en tubería cuando las GPU no tienen NVLink por la sobrecarga de comunicación. ()
  • Megatron-LM paper (arXiv:1909.08053v4): Describe el paralelismo de modelo dentro de la capa (de tensores), en el que cada capa se reparte entre GPU y cada bloque necesita una reducción total entre ellas. Su eficiencia de escalado del 76 % con 512 GPU se midió en entrenamiento, no en inferencia: muestra que escalar no es gratis, no lo que hará tu configuración. ()
  • NIST: Prefixes for binary multiples: Define el gibibyte como 2^30 bytes (1.073.741.824) y el gigabyte como 10^9 bytes, por eso GB y GiB difieren en torno a un 7 %. ()

Supuestos de ToolQuarter (sin fuente primaria):

  • GPU idénticas, un reparto uniforme de tensores, la asignación de capas completas en un reparto por capas y una sobrecarga de ejecución por GPU (de 0,5 a 1 GiB aproximadamente) son supuestos simplificadores de ToolQuarter. No se modelan GPU distintas, las burbujas de la tubería, los búferes del framework ni la colocación propia de la caché KV de cada motor.
  • La memoria agrupada es solo la suma de la memoria de las GPU: no es un único fondo compartido, y un plan que cabe sobre el papel no demuestra que un motor admita el modelo o el reparto, y no promete ninguna velocidad. Que el paralelismo de tensores suela necesitar que el número de GPU divida el número de cabezas de atención se afirma en esta página sin fuente consultada: revisa la documentación de tu motor.

Cómo usar

  1. Introduce el número de GPU y la VRAM de cada una en GiB.
  2. Elige un modelo predefinido o introduce sus parámetros, y escoge una cuantización.
  3. Introduce la caché KV (de la Calculadora de memoria de caché KV) y elige un modo de reparto; añade el número de capas para un reparto por capas preciso.
  4. Lee si cabe en la GPU más cargada, la asignación por GPU y cuántas GPU necesitarías.

Preguntas frecuentes

¿Dos GPU de 24 GiB funcionan como una de 48 GiB?

Para que quepa un modelo, solo en parte: si el motor puede repartir el modelo, la memoria se suma, pero no es un único fondo compartido, cada GPU paga su propia sobrecarga y el reparto no siempre es uniforme. En velocidad, no: la comunicación entre las GPU añade coste y la mejora rara vez es lineal.

¿Cuál es la diferencia entre el reparto por capas y el tensorial?

El reparto por capas da a cada GPU un bloque de capas completas y pasa los datos de una GPU a la siguiente; está muy extendido. El reparto tensorial divide cada capa entre todas las GPU, lo que puede ser más rápido con una interconexión veloz, pero depende del motor y suele exigir que el número de GPU divida el número de cabezas de atención.

¿Por qué cada GPU necesita su propia sobrecarga?

Cada GPU tiene su propio contexto de ejecución y sus búferes de cálculo, así que esa sobrecarga se paga una vez por GPU, no una vez en total.

¿Puedo mezclar GPU distintas?

Muchos motores lo permiten, pero este planificador supone GPU idénticas. Con tarjetas mezcladas, la más pequeña suele limitar un reparto uniforme.

¿De dónde saco el dato de la caché KV?

Usa la Calculadora de memoria de caché KV con la arquitectura del modelo y tu longitud de contexto, y escribe aquí su total.

Última actualización: