Calculadora de ahorro con caché de prompts
La caché de prompts permite que un proveedor reutilice a menor precio un prefijo largo y repetido (instrucciones, documentos, definiciones de herramientas) cuando la siguiente solicitud empieza con el mismo texto. Introduce el prefijo reutilizable, la parte que cambia, la salida, el número de solicitudes y tu tasa de aciertos, con los precios de la entrada normal, de la lectura de caché y, si existe, de la escritura en caché. Obtienes el coste con y sin caché, el ahorro y el punto de equilibrio. Las reglas de caché difieren según el proveedor, así que revisa las notas de abajo.
Resultado
Introduce tus tokens, solicitudes, tasa de aciertos y precios para ver el ahorro.
- Coste sin caché
- Coste con caché
- Ahorro
- Ahorro (porcentaje)
- Tokens del prefijo leídos de la caché
- Tokens del prefijo escritos (fallos de caché)
- Tasa de aciertos de equilibrio
- Equilibrio: solicitudes por prefijo escrito
No se introdujo precio de escritura en caché, así que la escritura se factura como entrada normal.
Coste con caché
| Parte | Coste |
|---|
¿Y si cambia la tasa de aciertos?
| Tasa de aciertos | Coste con caché | Ahorro |
|---|
Aritmética exacta sobre tus números, pero la tasa de aciertos es un supuesto y las reglas de caché del proveedor (duración, tamaño mínimo, tarifas de almacenamiento, caché automática o explícita) no se modelan.
Ejemplos
Ejemplos resueltos (prefijo de 10.000 tokens, 500 tokens no cacheables y 300 de salida, 1.000 solicitudes, precios de ejemplo de 3 de entrada, 0,30 de lectura de caché, 3,75 de escritura en caché y 15 de salida por millón de tokens):
| Tasa de aciertos | Sin caché | Con caché | Ahorro | Ahorro (porcentaje) |
|---|---|---|---|---|
| 0% | 36,00 USD | 43,50 USD | -7,50 USD | -20,8% |
| 50% | 36,00 USD | 26,25 USD | 9,75 USD | 27,1% |
| 80% | 36,00 USD | 15,90 USD | 20,10 USD | 55,8% |
| 100% | 36,00 USD | 9,00 USD | 27,00 USD | 75% |
Fórmula y metodología
La aritmética es exacta para los números que introduces:
sin caché = solicitudes × (prefijo + no cacheable) × precio de entrada + solicitudes × salida × precio de salida (cada uno ÷ 1.000.000)con caché = solicitudes × tasa de aciertos × prefijo × precio de lectura + solicitudes × (1 − tasa de aciertos) × prefijo × precio de escritura + no cacheable y salida como arribaahorro = sin caché − con caché; ahorro % = ahorro ÷ sin cachétasa de aciertos de equilibrio = (precio de escritura − precio de entrada) ÷ (precio de escritura − precio de lectura)Conviene saber
- Los proveedores no comparten un único diseño de caché. Algunos guardan en caché automáticamente, otros exigen marcar el prefijo, algunos cobran una tarifa de escritura, otros cobran el almacenamiento por hora, y las duraciones van de minutos a horas. Introduce los precios y la tasa de aciertos que correspondan a tu proveedor.
- No se modelan: la duración y renovación de la caché, el tamaño mínimo cacheable, las tarifas de almacenamiento ni las diferencias entre varias duraciones de caché. Un prefijo que no se guarda porque es demasiado corto no ahorra nada.
- El prefijo debe ser idéntico, token a token, al comienzo de la solicitud. Cambiar el prompt de sistema o reordenar las herramientas rompe la coincidencia y cuenta como fallo.
- La tasa de aciertos es un supuesto tuyo. Un flujo constante de solicitudes suele mantener caliente una caché de corta duración; con poco tráfico caduca.
- Sin precio de escritura en caché, la escritura se trata como entrada normal, que es como la facturan algunos proveedores.
Cómo usar
- Introduce el prefijo reutilizable, la entrada no cacheable y los tokens de salida, y el número de solicitudes.
- Introduce la tasa de aciertos de caché que esperas.
- Introduce los precios de entrada, lectura de caché, escritura en caché (opcional) y salida, o rellénalos con un preajuste.
- Lee el coste con y sin caché, el ahorro y el punto de equilibrio.
Preguntas frecuentes
¿Cuánto ahorra la caché de prompts?
Depende de cuánta parte de cada solicitud sea un prefijo repetido y de con qué frecuencia se encuentre en la caché. Las lecturas de caché suelen ser mucho más baratas que la entrada normal, así que un prefijo grande y repetido con una tasa de aciertos alta puede recortar mucho el coste de entrada. Introduce tus números para ver el efecto exacto.
¿Qué es la tasa de aciertos de caché?
La proporción de solicitudes cuyo prefijo ya está en la caché. La primera solicitud tras caducar la caché es un fallo. Una tasa de aciertos del 80 % significa que cuatro de cada cinco solicitudes leen el prefijo en caché.
¿Por qué la caché puede costar más que no usarla?
Algunos proveedores cobran más por escribir un prefijo en la caché que por enviarlo como entrada normal. Si la tasa de aciertos es baja, pagas ese recargo a menudo y lees pocas veces. Las cifras de equilibrio muestran la tasa de aciertos y el número de solicitudes a partir de los cuales la caché compensa.
¿Todos los proveedores usan la caché del mismo modo?
No. Las duraciones, los tamaños mínimos, las tarifas de escritura y de almacenamiento y si la caché es automática difieren. Esta calculadora usa los precios que introduces y no modela esas reglas, así que consulta la documentación de tu proveedor.
¿Qué es el punto de equilibrio?
La tasa de aciertos a la que la caché cuesta exactamente lo mismo que no usarla, y el número de solicitudes que deben reutilizar un prefijo escrito para amortizar su recargo de escritura. Por encima de ellos, la caché ahorra dinero.
Última actualización: