Estimador de tamaño de base de datos vectorial

Una base de datos vectorial guarda más que tus vectores en bruto: metadatos, un índice y a menudo réplicas. Introduce el número de vectores, las dimensiones, la precisión, los metadatos por vector, un porcentaje de sobrecarga del índice y el número de réplicas. El estimador mantiene el tamaño exacto de los vectores en bruto aparte del tamaño operativo estimado, y muestra un rango porque la sobrecarga del índice depende de la base de datos y de su configuración.

Procesado localmente en tu navegador. Tus datos no se suben a nuestros servidores.

Un vector por chunk, documento o elemento.

El tamaño de salida de tu modelo de embeddings, según su documentación.

Promedio de ids, texto y carga útil guardados con cada vector.

0 significa una sola copia; 2 significa tres copias en total.

Es un supuesto. Depende del tipo de índice y de su configuración: un índice plano no añade nada y los índices de grafo añaden más. Mídelo con una muestra.

Resultado

Estimación

Introduce el número de vectores y las dimensiones para estimar el tamaño.

Ejemplos

Ejemplos resueltos (50 % de sobrecarga del índice y 1 KB de metadatos por vector):

VectoresDimensiones / precisiónVectores en brutoUna copiaCon 2 réplicas
1.000.0001.536 · FP325,72 GiB (6,14 GB)9,51 GiB (10,22 GB)28,54 GiB (30,65 GB)
10.000.000768 · FP1614,31 GiB (15,36 GB)30,77 GiB (33,04 GB)92,31 GiB (99,12 GB)
100.000.0001.024 · INT895,37 GiB (102,4 GB)236,18 GiB (253,6 GB)708,55 GiB (760,8 GB)

Fórmula y metodología

El tamaño en bruto es exacto; el índice y las réplicas son tus supuestos:

vectores en bruto = vectores × dimensiones × bytes por valorsobrecarga del índice = vectores en bruto × sobrecarga del índice %una copia = vectores en bruto + vectores × bytes de metadatos + sobrecarga del índicetamaño operativo = una copia × (1 + réplicas)

Conviene saber

  • La sobrecarga del índice varía mucho: un índice plano no añade nada, los índices basados en grafos añaden enlaces por vector y los índices comprimidos pueden reducir los vectores. Mide con una muestra de tus propios datos.
  • Es una estimación de la huella de datos, no un requisito de memoria. Que el índice y los vectores estén en RAM, en disco o mapeados en memoria depende de la base de datos.
  • Las réplicas multiplican el almacenamiento, no solo la fiabilidad: cada réplica guarda una copia completa de vectores, metadatos e índice.
  • No se incluyen los registros de escritura anticipada, las instantáneas, los datos borrados aún sin compactar ni el espacio temporal durante la indexación. Deja margen.
  • Toma el rango de la tabla como respuesta de planificación y confírmalo con la guía de dimensionamiento de tu base de datos.

Cómo usar

  1. Introduce el número de vectores, las dimensiones y la precisión.
  2. Añade el promedio de bytes de metadatos por vector.
  3. Fija un porcentaje de sobrecarga del índice y el número de réplicas de tu base de datos.
  4. Lee el tamaño en bruto, el tamaño operativo estimado y el rango de la tabla.

Preguntas frecuentes

¿Qué tamaño tendrá mi base de datos vectorial?

Al menos el de los vectores en bruto: vectores × dimensiones × bytes por valor. Encima se suman los metadatos, el índice y las réplicas. Este estimador los suma con tus cifras y muestra el efecto de distintas sobrecargas.

¿Cuánta sobrecarga añade un índice?

Depende del tipo de índice y de su configuración. Un índice plano no añade nada, los índices basados en grafos añaden varios enlaces por vector y algunos índices comprimen los vectores. Usa una muestra de tus datos y la documentación de tu base de datos en lugar de una regla general.

¿Qué hacen las réplicas con el almacenamiento?

Cada réplica es una copia completa extra, así que el almacenamiento total es el tamaño de una copia por uno más el número de réplicas. Dos réplicas significan el triple de almacenamiento.

¿Es esta la RAM que necesito?

No necesariamente. Estima la huella total de datos e índice. Cuánto debe estar en memoria depende de si la base de datos guarda vectores e índice en RAM, en disco o mapeados en memoria, y de tus necesidades de latencia.

¿Por qué la página muestra un rango?

La sobrecarga del índice y el funcionamiento interno de la base de datos no se conocen con exactitud, así que una sola cifra sería una falsa precisión. El tamaño de los vectores en bruto es exacto; la tabla muestra el tamaño operativo para varias sobrecargas y números de réplicas.

Última actualización: