Estimador de tiempo de inferencia y rendimiento de IA

¿Cuánto tardará una respuesta? Introduce los tokens del prompt y de la salida junto con la velocidad de prefill (lo rápido que el modelo lee el prompt) y la de generación (lo rápido que escribe), medidas en tu propia configuración o supuestas, y obtén el tiempo de prefill, el de generación, el tiempo total, los tokens por segundo efectivos y las solicitudes por minuto. Añade una sobrecarga fija por red o cola, o una concurrencia para el rendimiento paralelo ideal. Si solo conoces la velocidad de generación, el modo sencillo estima solo el tiempo de generación.

Procesado localmente en tu navegador. Tus datos no se suben a nuestros servidores.

Los tokens que el modelo lee antes de empezar a escribir.

Los tokens que genera el modelo.

Lo rápido que se procesa el prompt. Déjala vacía para el modo sencillo: entonces no se cronometra el prompt.

Lo rápido que se escriben los tokens una vez empieza la generación. Mídela en tu configuración.

Latencia de red, de cola o de herramientas añadida a cada solicitud.

Muestra el rendimiento de ese número de solicitudes idénticas, suponiendo que ninguna ralentiza a las demás.

Resultado

Estimación

Introduce los tokens y la velocidad de generación para estimar el tiempo.

Aritmética exacta sobre las velocidades que introduces, que son medidas o supuestas: el resultado es una estimación de un tiempo de respuesta real, no una prueba de rendimiento de ningún modelo ni hardware.

Ejemplos

Ejemplos resueltos con velocidades ilustrativas (no son pruebas de rendimiento de ningún modelo ni hardware), sin sobrecarga:

EscenarioTokens de prompt / salidaVelocidades (prefill / generación)Tiempo totalTiempo hasta el primer token
Respuesta de chat corta500 / 3002.000 / 60 tokens/s5,25 s267 ms
Respuesta sobre documentos recuperados6.000 / 4001.500 / 40 tokens/s14 s4,03 s
Resumen de un documento largo100.000 / 1.0001.000 / 30 tokens/s2 min 13 s1 min 40 s

Fórmula y metodología

La aritmética es exacta para los números que introduces:

tiempo de prefill = tokens del prompt ÷ velocidad de prefilltiempo de generación = tokens de salida ÷ velocidad de generacióntiempo total = sobrecarga fija + tiempo de prefill + tiempo de generaciónvelocidad efectiva = tokens de salida ÷ tiempo total; solicitudes por minuto = 60 ÷ tiempo totaltiempo hasta el primer token ≈ sobrecarga fija + tiempo de prefill + 1 ÷ velocidad de generación

Conviene saber

  • Las velocidades son datos que introduces, no hechos sobre un modelo. Esta herramienta no adivina los tokens por segundo a partir del nombre de una GPU o un modelo: mide en tu propia configuración o usa una cifra de confianza.
  • Las velocidades reales varían con el procesamiento por lotes, las colas, otros usuarios, la longitud del prompt, el entorno de ejecución, la cuantización, la decodificación especulativa y el hardware. Un solo número medido es una instantánea.
  • El prefill suele ser mucho más rápido por token que la generación, por eso los prompts largos añaden menos tiempo que las salidas largas.
  • Las respuestas en streaming parecen más rápidas de lo que sugiere el tiempo total, porque los primeros tokens llegan tras el tiempo hasta el primer token.
  • Bajo mucha carga cada solicitud se ralentiza. Las cifras en paralelo son un máximo ideal.

Cómo usar

  1. Introduce los tokens del prompt y de la salida.
  2. Introduce las velocidades de prefill y de generación que mediste o supones. Deja el prefill vacío para el modo sencillo.
  3. Si quieres, añade una sobrecarga fija y un número de solicitudes en paralelo.
  4. Lee los tiempos de prefill, generación y total, la velocidad efectiva y las solicitudes por minuto.

Preguntas frecuentes

¿Cómo estimo cuánto tardará la respuesta de un LLM?

Divide los tokens del prompt entre la velocidad de prefill, divide los tokens de salida entre la velocidad de generación y suma la sobrecarga fija. Esta calculadora lo hace con las velocidades que introduces.

¿Qué diferencia hay entre la velocidad de prefill y la de generación?

El prefill es lo rápido que el modelo lee y procesa tu prompt, normalmente en grandes bloques en paralelo, así que es rápido por token. La generación escribe un token cada vez y es más lenta. Ambas son tokens por segundo, medidas por separado.

¿Puedes decirme los tokens por segundo de mi GPU o modelo?

No. La velocidad depende del entorno de ejecución, la cuantización, el procesamiento por lotes, la longitud del contexto y mucho más, así que esta herramienta no la adivina a partir de un nombre. Mide tu propia configuración o introduce una cifra de una fuente de confianza.

¿Qué es el tiempo hasta el primer token?

La espera antes de que aparezca el primer token generado: la sobrecarga fija, más el tiempo de procesar el prompt, más el primer token. Solo se estima cuando indicas una velocidad de prefill.

¿Por qué las cifras en paralelo son solo un máximo?

Multiplican la velocidad de una solicitud por el número de solicitudes, como si cada una se ejecutara sola. En la práctica el hardware compartido, el procesamiento por lotes y las colas cambian la velocidad de cada solicitud, así que mide el rendimiento real bajo carga.

Última actualización: