Calculadora de presupuesto de contexto para RAG

En la generación aumentada por recuperación (RAG), los chunks que recuperas deben compartir la ventana de contexto con todo lo demás. Introduce la ventana, lo que usan el prompt de sistema, el historial y las herramientas, la respuesta que quieres reservar y el tamaño de tus chunks, y mira el máximo de chunks que caben y cuánto espacio queda. El solapamiento no interviene en el cálculo: afecta a cómo indexas, no a lo que cuesta un chunk recuperado en el prompt.

Procesado localmente en tu navegador. Tus datos no se suben a nuestros servidores.

Consulta la documentación de tu modelo para saber su ventana de contexto. La entrada y la salida suelen compartirla.

Instrucciones y descripción del rol que se envían en cada solicitud.

Mensajes anteriores que se mantienen en la solicitud.

Esquemas de funciones y resultados devueltos al modelo.

Espacio que quieres dejar libre para la respuesta, a menudo tu ajuste de salida máxima.

El tamaño de cada chunk recuperado.

Separadores, nombres de fuente o ids de cita añadidos alrededor de cada chunk. Es un supuesto: ajústalo a tu prompt.

Cubre el formato de los mensajes y las diferencias de tokenizador. Es un supuesto.

A menudo llamado top-k. Comprueba si caben.

Resultado

Introduce una ventana de contexto y tus cantidades de tokens para ver cuántos chunks caben.

Ejemplos

Ejemplos resueltos (5 % de margen y 20 tokens extra por chunk):

EscenarioVentanaReservadoTamaño del chunkMáximo de chunks
Chatbot con historial32.7688.00051243
Respuestas de soporte128.0009.000256407
Investigación con contexto largo1.000.00024.0001.024886

Fórmula y metodología

El presupuesto es aritmética exacta sobre tus números:

disponible = ventana − (sistema + historial + herramientas + respuesta) − margentokens por chunk = tamaño del chunk + tokens extra por chunkmáximo de chunks = parte entera(disponible ÷ tokens por chunk)espacio sobrante = disponible − máximo de chunks × tokens por chunk

Conviene saber

  • El solapamiento de chunks no es un dato aquí. Cambia cómo se indexa el corpus, no lo que cuesta un chunk recuperado en el prompt. Pero si se recuperan dos chunks vecinos que se solapan, el texto compartido se envía dos veces: fusiónalos o elimina los duplicados.
  • Recuperar el máximo rara vez es lo mejor. Más chunks añaden ruido y coste; muchos sistemas recuperan unos pocos y los reordenan.
  • La entrada y la salida suelen compartir la ventana de contexto, por eso se reserva primero la respuesta. Algunos modelos fijan además un límite de salida aparte.
  • Los tokens extra por chunk y el margen de seguridad son supuestos. Mide un prompt real con el contador de tokens y ajusta.
  • Las ventanas de contexto varían según el modelo y cambian con el tiempo: introduce tú la de tu modelo.

Cómo usar

  1. Introduce la ventana de contexto de tu modelo o elige un tamaño habitual.
  2. Rellena los tokens que usan el prompt de sistema, el historial y las herramientas, y la respuesta que quieres reservar.
  3. Introduce el tamaño de tus chunks, los tokens extra por chunk y un margen de seguridad.
  4. Si quieres, indica cuántos chunks quieres y lee el máximo, el espacio sobrante y el consejo.

Preguntas frecuentes

¿Cuántos chunks puedo recuperar para mi ventana de contexto?

Resta todo lo demás de la ventana (prompt de sistema, historial, herramientas, respuesta y un margen), divide lo que queda entre los tokens por chunk y redondea hacia abajo. Esta calculadora lo hace y muestra el espacio sobrante.

¿El solapamiento de chunks reduce cuántos caben?

No directamente. El solapamiento se decide al indexar los documentos. Al recuperar, cada chunk cuesta su propio tamaño. Si se recuperan dos vecinos que se solapan, el texto compartido se envía dos veces, así que fusiónalos o elimina los duplicados.

¿Debería llenar toda la ventana con chunks?

Normalmente no. Más chunks añaden ruido, latencia y coste, y los contextos largos pueden diluir los pasajes relevantes. Un número moderado de chunks de calidad, a menudo reordenados, suele funcionar mejor que el máximo.

¿Qué son los tokens extra por chunk?

Los separadores, nombres de fuente o ids de cita que pones alrededor de cada chunk en el prompt. Se acumulan con muchos chunks, así que ajusta el valor al formato de tu prompt.

¿Por qué dejar un margen de seguridad?

Tus recuentos de tokens son estimaciones y la solicitud real añade el formato de los mensajes. Un margen de unos pocos puntos porcentuales evita un desbordamiento por un recuento ligeramente errado.

Última actualización: