Estimador de tiempo de inferencia y rendimiento de IA
¿Cuánto tardará una respuesta? Introduce los tokens del prompt y de la salida junto con la velocidad de prefill (lo rápido que el modelo lee el prompt) y la de generación (lo rápido que escribe), medidas en tu propia configuración o supuestas, y obtén el tiempo de prefill, el de generación, el tiempo total, los tokens por segundo efectivos y las solicitudes por minuto. Añade una sobrecarga fija por red o cola, o una concurrencia para el rendimiento paralelo ideal. Si solo conoces la velocidad de generación, el modo sencillo estima solo el tiempo de generación.
Resultado
Estimación
Introduce los tokens y la velocidad de generación para estimar el tiempo.
- Tiempo de prefill
- Tiempo de generación
- Sobrecarga fija
- Tiempo total de respuesta
- Tiempo estimado hasta el primer token
- Velocidad de salida efectiva
- Solicitudes por minuto (de una en una)
- Solicitudes por minuto en paralelo
- Velocidad de salida en paralelo
Modo sencillo: no se indicó velocidad de prefill, así que no se cronometra el prompt ni se estima el tiempo hasta el primer token. El total cubre solo la generación y la sobrecarga.
El tiempo hasta el primer token se estima como sobrecarga + tiempo de prefill + el tiempo de escribir un token.
Las cifras en paralelo suponen que cada solicitud mantiene la misma velocidad. Los sistemas reales suelen ir más lentos bajo carga, así que trátalas como un máximo.
Aritmética exacta sobre las velocidades que introduces, que son medidas o supuestas: el resultado es una estimación de un tiempo de respuesta real, no una prueba de rendimiento de ningún modelo ni hardware.
Ejemplos
Ejemplos resueltos con velocidades ilustrativas (no son pruebas de rendimiento de ningún modelo ni hardware), sin sobrecarga:
| Escenario | Tokens de prompt / salida | Velocidades (prefill / generación) | Tiempo total | Tiempo hasta el primer token |
|---|---|---|---|---|
| Respuesta de chat corta | 500 / 300 | 2.000 / 60 tokens/s | 5,25 s | 267 ms |
| Respuesta sobre documentos recuperados | 6.000 / 400 | 1.500 / 40 tokens/s | 14 s | 4,03 s |
| Resumen de un documento largo | 100.000 / 1.000 | 1.000 / 30 tokens/s | 2 min 13 s | 1 min 40 s |
Fórmula y metodología
La aritmética es exacta para los números que introduces:
tiempo de prefill = tokens del prompt ÷ velocidad de prefilltiempo de generación = tokens de salida ÷ velocidad de generacióntiempo total = sobrecarga fija + tiempo de prefill + tiempo de generaciónvelocidad efectiva = tokens de salida ÷ tiempo total; solicitudes por minuto = 60 ÷ tiempo totaltiempo hasta el primer token ≈ sobrecarga fija + tiempo de prefill + 1 ÷ velocidad de generaciónConviene saber
- Las velocidades son datos que introduces, no hechos sobre un modelo. Esta herramienta no adivina los tokens por segundo a partir del nombre de una GPU o un modelo: mide en tu propia configuración o usa una cifra de confianza.
- Las velocidades reales varían con el procesamiento por lotes, las colas, otros usuarios, la longitud del prompt, el entorno de ejecución, la cuantización, la decodificación especulativa y el hardware. Un solo número medido es una instantánea.
- El prefill suele ser mucho más rápido por token que la generación, por eso los prompts largos añaden menos tiempo que las salidas largas.
- Las respuestas en streaming parecen más rápidas de lo que sugiere el tiempo total, porque los primeros tokens llegan tras el tiempo hasta el primer token.
- Bajo mucha carga cada solicitud se ralentiza. Las cifras en paralelo son un máximo ideal.
Cómo usar
- Introduce los tokens del prompt y de la salida.
- Introduce las velocidades de prefill y de generación que mediste o supones. Deja el prefill vacío para el modo sencillo.
- Si quieres, añade una sobrecarga fija y un número de solicitudes en paralelo.
- Lee los tiempos de prefill, generación y total, la velocidad efectiva y las solicitudes por minuto.
Preguntas frecuentes
¿Cómo estimo cuánto tardará la respuesta de un LLM?
Divide los tokens del prompt entre la velocidad de prefill, divide los tokens de salida entre la velocidad de generación y suma la sobrecarga fija. Esta calculadora lo hace con las velocidades que introduces.
¿Qué diferencia hay entre la velocidad de prefill y la de generación?
El prefill es lo rápido que el modelo lee y procesa tu prompt, normalmente en grandes bloques en paralelo, así que es rápido por token. La generación escribe un token cada vez y es más lenta. Ambas son tokens por segundo, medidas por separado.
¿Puedes decirme los tokens por segundo de mi GPU o modelo?
No. La velocidad depende del entorno de ejecución, la cuantización, el procesamiento por lotes, la longitud del contexto y mucho más, así que esta herramienta no la adivina a partir de un nombre. Mide tu propia configuración o introduce una cifra de una fuente de confianza.
¿Qué es el tiempo hasta el primer token?
La espera antes de que aparezca el primer token generado: la sobrecarga fija, más el tiempo de procesar el prompt, más el primer token. Solo se estima cuando indicas una velocidad de prefill.
¿Por qué las cifras en paralelo son solo un máximo?
Multiplican la velocidad de una solicitud por el número de solicitudes, como si cada una se ejecutara sola. En la práctica el hardware compartido, el procesamiento por lotes y las colas cambian la velocidad de cada solicitud, así que mide el rendimiento real bajo carga.
Última actualización: