Calculadora de memoria de caché KV

La caché KV es la memoria que usa un modelo de lenguaje para recordar los tokens hasta el momento, y crece con la longitud de contexto. Introduce las capas, las cabezas KV y la dimensión de cabeza del modelo (o elige uno predefinido), la longitud de contexto, la precisión y el número de secuencias para calcularla con exactitud y ver cuánto ahorra la atención por grupos de consultas.

Procesado localmente en tu navegador. Tus datos no se suben a nuestros servidores.

Las cifras predefinidas proceden de la documentación oficial de cada modelo, verificadas por última vez el 3 de octubre de 2026. Puedes editar cualquier número.

Fuente: Llama 3 paper, Table 3

Arquitectura (necesaria para la caché KV)

Encuentra estos números en el config.json o en la ficha del modelo. No se adivina nada: deja los tres campos vacíos para no incluir la caché KV.

Normalmente, el tamaño oculto dividido entre el número de cabezas de atención.

Solo se usa para mostrar cuánto ahorra la atención por grupos de consultas.

Tokens del prompt y de la respuesta que se mantienen en memoria.

1 para un solo chat. Cada secuencia adicional necesita su propia caché KV.

Resultado

Exacto para atención estándar

Introduce capas, cabezas KV, dimensión de cabeza y longitud de contexto para ver la caché KV.

Ejemplos

Ejemplos resueltos (una secuencia):

ModeloContexto (tokens)Precisión KVCaché KV
Llama 3.1 8B8192FP161 GiB
Llama 3.1 70B131.072FP1640 GiB
Qwen2.5 7B Instruct32.768FP161,75 GiB

Fórmula y metodología

Para atención completa estándar, la caché es aritmética exacta:

caché KV = 2 × capas × cabezas KV × dimensión de cabeza × tokens × bytes por valor × secuenciasbytes por token = 2 × capas × cabezas KV × dimensión de cabeza × bytes por valorrazón de agrupación = cabezas de atención ÷ cabezas KVcaché con atención estándar = caché KV × razón de agrupación

Conviene saber

  • El factor 2 son las claves más los valores; ambos se guardan en cada capa y para cada token.
  • Bytes por valor: FP32 son 4, FP16/BF16 son 2, FP8 es 1; los tipos de caché Q8_0 y Q4_0 de llama.cpp usan unos 1,06 y 0,56.
  • Los modelos con atención latente multicabeza, ventana deslizante o atención híbrida pueden usar mucho menos que esta fórmula, y los motores que paginan o comparten bloques de caché pueden diferir.
  • No se adivina nada: si falta un número, búscalo en el config.json o en la ficha del modelo.

Método y referencias

Estas fuentes primarias respaldan los métodos en los que se basa esta herramienta. Haberlas leído no verifica cada resultado de la calculadora, y las cifras que figuran como supuestos son propias de ToolQuarter.

El tamaño de la caché es aritmética exacta para atención completa estándar con los números que introduces. Las fuentes respaldan la fórmula, las variantes que comparten cabezas y los tipos de almacenamiento; otros diseños de atención pueden usar menos.

  • PagedAttention paper (arXiv:2309.06180v1): Da la caché KV por token como 2 (claves y valores) × tamaño oculto × capas × bytes por valor, con un ejemplo de 800 KB por token para un modelo de 13B en FP16. También describe cómo la paginación reduce la memoria de caché desperdiciada, por lo que los motores reales pueden diferir de la fórmula simple. ()
  • GQA paper (arXiv:2305.13245v3): Define la atención multiconsulta (una sola cabeza de clave-valor) y la atención de consulta agrupada (más de una pero menos cabezas de clave-valor que de consulta). Menos cabezas de clave-valor significa menos que almacenar, lo que la herramienta muestra como cabezas de atención ÷ cabezas KV. ()
  • Mistral 7B paper (arXiv:2310.06825v1): Describe la atención con ventana deslizante con una caché de búfer rotatorio de tamaño fijo, que impide que la caché crezca (8 veces menos memoria de caché con 32k tokens en el artículo), por lo que la fórmula estándar puede sobrestimar en esos modelos. ()
  • DeepSeek-V2 paper (arXiv:2405.04434v5): Indica que la atención latente multicabeza comprime la caché KV en un vector latente (93,3 % menor que en DeepSeek 67B en ese artículo), por lo que la fórmula estándar no describe los modelos con este diseño. ()
  • llama.cpp: server README: Enumera los tipos de datos de la caché KV que acepta llama.cpp para claves y valores (f32, f16, bf16, q8_0, q4_0 y otros; el valor por defecto es f16). ()
  • ggml: ggml-common.h: Muestra la disposición de los bloques detrás de los bytes: Q8_0 guarda una escala de 2 bytes más 32 valores de un byte (34 bytes por cada 32 valores, unos 1,06) y Q4_0 una escala de 2 bytes más 16 bytes (18 por cada 32, unos 0,56). ()

Supuestos de ToolQuarter (sin fuente primaria):

  • FP32 = 4, FP16 y BF16 = 2 y FP8 = 1 byte por valor son las anchuras habituales. La compatibilidad con la caché FP8 depende del motor (la lista de llama.cpp anterior no la incluye) y aquí no se consultó ninguna fuente sobre ella.
  • Que una caché KV de menor precisión pueda afectar ligeramente a la calidad de la salida, más con 4 bits, es una orientación general de ToolQuarter sin fuente consultada: prueba con tus propios prompts. La herramienta nunca adivina una arquitectura: las capas, las cabezas KV y la dimensión de cabeza vienen de ti o de un preajuste.

Cómo usar

  1. Elige un modelo predefinido o introduce capas, cabezas KV y dimensión de cabeza de la configuración del modelo.
  2. Introduce la longitud de contexto en tokens y el número de secuencias simultáneas.
  3. Elige la precisión con la que se guarda la caché KV (FP16 es el valor habitual).
  4. Si quieres, introduce las cabezas de atención para ver cuánto ahorra la atención por grupos de consultas.

Preguntas frecuentes

¿Qué es la caché KV?

Mientras genera texto, un modelo conserva las claves y los valores de atención de cada token hasta el momento para no recalcularlos. Esos datos guardados son la caché KV. Crece con cada token y con cada secuencia simultánea.

¿Qué significan GQA y MQA para la memoria?

En la atención por grupos de consultas varias cabezas de atención comparten una cabeza de clave/valor; en la de consulta múltiple, todas comparten una sola. La caché se reduce según la razón entre cabezas de atención y cabezas KV, por ejemplo 4× en un modelo con 32 cabezas de atención y 8 cabezas KV.

¿Dónde encuentro las capas, las cabezas KV y la dimensión de cabeza de un modelo?

En su config.json de Hugging Face (num_hidden_layers, num_key_value_heads y head_dim, o hidden_size ÷ num_attention_heads) o en la ficha del modelo o el artículo. Esta herramienta nunca los adivina.

¿Guardar la caché KV con menos bits reduce la calidad?

Reduce la memoria (Q8_0 es aproximadamente la mitad de FP16) y puede afectar ligeramente a la calidad de la salida, más aún con 4 bits. La compatibilidad depende del motor de ejecución, así que prueba con tus propios prompts.

¿Es exacto el resultado?

La fórmula es exacta para atención completa estándar con los números que introduces. Los modelos con ventana deslizante, atención latente o híbrida, y los motores que paginan o comparten bloques de caché, pueden usar menos o comportarse de otro modo.

Última actualización: