Planificador de tamaño de chunks para RAG
Al dividir documentos en chunks (fragmentos) para la generación aumentada por recuperación (RAG), el solapamiento mantiene el contexto entre los límites pero también duplica texto que hay que vectorizar y almacenar. Introduce el tamaño del corpus, cuántos documentos contiene, el tamaño del chunk y el solapamiento, y mira el paso efectivo, el número de chunks, los tokens duplicados y lo que eso supone para el almacenamiento y la recuperación.
Resultado
Aritmética exacta sobre tus números
Introduce el tamaño del corpus y los ajustes de chunk para planificar.
- Solapamiento en tokens
- Paso efectivo (tokens)
- Chunks por documento
- Chunks en total
- Tokens duplicados por solapamiento
- Tokens que vectorizar
- Sobrecarga por solapamiento
- Chunks sin solapamiento
- Chunks extra por el solapamiento
- Chunk medio almacenado (tokens)
- Almacenamiento bruto de vectores
- Tokens recuperados por consulta
Aritmética exacta con dos simplificaciones: los documentos tienen el mismo tamaño y los chunks tienen un número fijo de tokens. Los divisores reales que cortan por frases o títulos producen chunks desiguales.
Ejemplos
Ejemplos resueltos:
| Corpus (en tokens) | Documentos | Chunk / solapamiento | Chunks | Tokens que vectorizar |
|---|---|---|---|---|
| 1.500 | 1 | 512 / 15% | 4 | 1.728 |
| 1.000.000 | 100 | 512 / 10% | 2.200 | 1.107.100 |
| 50.000.000 | 20.000 | 1.024 / 20% | 60.000 | 58.160.000 |
| 10.000.000 | 100.000 | 512 / 15% | 100.000 | 10.000.000 |
Fórmula y metodología
Para chunks de tamaño fijo con solapamiento en tokens, los recuentos son exactos:
tokens de solapamiento = parte entera(tamaño del chunk × solapamiento %)paso = tamaño del chunk − tokens de solapamientochunks por documento = 1 + techo((tokens del documento − tamaño del chunk) ÷ paso), o 1 si el documento cabe en un chunktokens duplicados = documentos × (chunks por documento − 1) × tokens de solapamientotokens que vectorizar = tokens del corpus + tokens duplicadosConviene saber
- El mejor tamaño de chunk depende de tu contenido y de tus preguntas. Muchos equipos empiezan con unos cientos hasta cerca de mil tokens y un 10–20 % de solapamiento, y luego prueban la calidad de la recuperación con consultas reales.
- El solapamiento evita que frases e ideas se corten en un límite, pero cada token solapado se vectoriza, se almacena y se indexa dos veces.
- Chunks más pequeños significan más vectores que almacenar y buscar; chunks más grandes, menos vectores pero más texto irrelevante enviado al modelo por cada coincidencia.
- Las API de embeddings facturan por tokens, así que «tokens que vectorizar» es también tu volumen de embeddings. Suma el solapamiento al coste, no solo el corpus.
- Dividir por estructura (párrafos, títulos, bloques de código) suele ser mejor que un número fijo de tokens. Usa estas cifras como base de planificación.
Cómo usar
- Introduce el tamaño del corpus en tokens o en palabras y el número de documentos.
- Fija el tamaño del chunk y el porcentaje de solapamiento.
- Si quieres, añade las dimensiones y la precisión de tus embeddings y los chunks recuperados por consulta.
- Lee el paso, el número de chunks, los tokens duplicados y el almacenamiento, y compara solapamientos.
Preguntas frecuentes
¿Qué es el paso (stride) al dividir en chunks?
El paso es lo que avanza la ventana de chunk en cada vuelta: el tamaño del chunk menos el solapamiento. Con chunks de 512 tokens y 76 tokens de solapamiento el paso es 436, así que cada chunk nuevo empieza 436 tokens después del anterior.
¿Cuánto solapamiento debería usar?
No hay una respuesta universal. Muchos equipos usan alrededor de un 10–20 %. Sin solapamiento es lo más pequeño pero puede cortar ideas por la mitad; un solapamiento muy alto multiplica tus vectores y el coste de embeddings. Prueba la calidad de recuperación con tus propias preguntas.
¿Cómo se calcula el número de chunks?
Si un documento cabe en un chunk, genera uno. Si no, genera 1 más el número de pasos necesarios para cubrir el resto: 1 + techo((tokens del documento − tamaño del chunk) ÷ paso). La calculadora lo multiplica por el número de documentos.
¿Por qué el solapamiento aumenta el coste de los embeddings?
Los tokens solapados aparecen en dos chunks, así que se vectorizan y almacenan dos veces. La cifra «tokens que vectorizar» suma esos tokens duplicados al tamaño del corpus.
¿Es exacto para mis documentos?
La aritmética es exacta para documentos del mismo tamaño y chunks de tokens fijos. Los documentos reales difieren en tamaño y muchos divisores cortan por frases o títulos, así que trata el resultado como una estimación de planificación y verifícalo con tu propio flujo.
Última actualización: