Calculadora de presupuesto de contexto para RAG
En la generación aumentada por recuperación (RAG), los chunks que recuperas deben compartir la ventana de contexto con todo lo demás. Introduce la ventana, lo que usan el prompt de sistema, el historial y las herramientas, la respuesta que quieres reservar y el tamaño de tus chunks, y mira el máximo de chunks que caben y cuánto espacio queda. El solapamiento no interviene en el cálculo: afecta a cómo indexas, no a lo que cuesta un chunk recuperado en el prompt.
Resultado
Introduce una ventana de contexto y tus cantidades de tokens para ver cuántos chunks caben.
- Reservado (prompt, historial, herramientas, respuesta)
- Margen de seguridad
- Disponible para chunks
- Tokens por chunk (con extras)
- Máximo de chunks
- Tokens usados por esos chunks
- Espacio sobrante
- Ventana usada
Ejemplos
Ejemplos resueltos (5 % de margen y 20 tokens extra por chunk):
| Escenario | Ventana | Reservado | Tamaño del chunk | Máximo de chunks |
|---|---|---|---|---|
| Chatbot con historial | 32.768 | 8.000 | 512 | 43 |
| Respuestas de soporte | 128.000 | 9.000 | 256 | 407 |
| Investigación con contexto largo | 1.000.000 | 24.000 | 1.024 | 886 |
Fórmula y metodología
El presupuesto es aritmética exacta sobre tus números:
disponible = ventana − (sistema + historial + herramientas + respuesta) − margentokens por chunk = tamaño del chunk + tokens extra por chunkmáximo de chunks = parte entera(disponible ÷ tokens por chunk)espacio sobrante = disponible − máximo de chunks × tokens por chunkConviene saber
- El solapamiento de chunks no es un dato aquí. Cambia cómo se indexa el corpus, no lo que cuesta un chunk recuperado en el prompt. Pero si se recuperan dos chunks vecinos que se solapan, el texto compartido se envía dos veces: fusiónalos o elimina los duplicados.
- Recuperar el máximo rara vez es lo mejor. Más chunks añaden ruido y coste; muchos sistemas recuperan unos pocos y los reordenan.
- La entrada y la salida suelen compartir la ventana de contexto, por eso se reserva primero la respuesta. Algunos modelos fijan además un límite de salida aparte.
- Los tokens extra por chunk y el margen de seguridad son supuestos. Mide un prompt real con el contador de tokens y ajusta.
- Las ventanas de contexto varían según el modelo y cambian con el tiempo: introduce tú la de tu modelo.
Cómo usar
- Introduce la ventana de contexto de tu modelo o elige un tamaño habitual.
- Rellena los tokens que usan el prompt de sistema, el historial y las herramientas, y la respuesta que quieres reservar.
- Introduce el tamaño de tus chunks, los tokens extra por chunk y un margen de seguridad.
- Si quieres, indica cuántos chunks quieres y lee el máximo, el espacio sobrante y el consejo.
Preguntas frecuentes
¿Cuántos chunks puedo recuperar para mi ventana de contexto?
Resta todo lo demás de la ventana (prompt de sistema, historial, herramientas, respuesta y un margen), divide lo que queda entre los tokens por chunk y redondea hacia abajo. Esta calculadora lo hace y muestra el espacio sobrante.
¿El solapamiento de chunks reduce cuántos caben?
No directamente. El solapamiento se decide al indexar los documentos. Al recuperar, cada chunk cuesta su propio tamaño. Si se recuperan dos vecinos que se solapan, el texto compartido se envía dos veces, así que fusiónalos o elimina los duplicados.
¿Debería llenar toda la ventana con chunks?
Normalmente no. Más chunks añaden ruido, latencia y coste, y los contextos largos pueden diluir los pasajes relevantes. Un número moderado de chunks de calidad, a menudo reordenados, suele funcionar mejor que el máximo.
¿Qué son los tokens extra por chunk?
Los separadores, nombres de fuente o ids de cita que pones alrededor de cada chunk en el prompt. Se acumulan con muchos chunks, así que ajusta el valor al formato de tu prompt.
¿Por qué dejar un margen de seguridad?
Tus recuentos de tokens son estimaciones y la solicitud real añade el formato de los mensajes. Un margen de unos pocos puntos porcentuales evita un desbordamiento por un recuento ligeramente errado.
Última actualización: