Buoyant presenta Kinference para optimizar inferencia de IA en Kubernetes
Buoyant presentó Kinference, una herramienta diseñada para optimizar la inferencia de inteligencia artificial en entornos de Kubernetes. La herramienta permite decidir a qué worker de vLLM enviar cada solicitud, mejorando la latencia cuando las consultas comparten prefijos.
Según Buoyant, en pruebas propias, la mediana del tiempo hasta el primer token se redujo de 6,88 a 0,31 segundos con prefijos compartidos. La herramienta se encuentra en fase alfa y se comparó con el enrutamiento aleatorio de Kubernetes Service.
Kinference combina una puerta de enlace de tráfico y un manejador de inferencia, y su implementación actual utiliza el componente NVIDIA dynamo-kv-router para procesar eventos de caché. La configuración se expresa con cinco recursos personalizados de Kubernetes: GatewayBackend, InferencePolicy, InferencePool, InferenceProvider e InferenceWorkerSet.
El despliegue está pensado para clústeres de Kubernetes con GPU que ejecuten vLLM. La herramienta incluye métricas para Prometheus y paneles de Grafana con indicadores como TTFT, ITL, latencia de extremo a extremo y tokens de prompt cacheados.
El recurso InferencePolicy permite definir reglas para enrutar o rechazar solicitudes según el inquilino, el modelo pedido, el estado del grupo de GPU o etiquetas semánticas. En la comparación con Kubernetes Service, la mediana del TTFT se redujo en 95% con prefijos compartidos.
La latencia mediana de extremo a extremo cayó 45% en el escenario de prefijo compartido y 32% en el multiturno. El pico de goodput alcanzó 103,0 solicitudes por minuto con Kinference frente a 14,0 con el servicio de Kubernetes en prefijos compartidos.
“La herramienta sigue en alfa y se comparó con el enrutamiento aleatorio de Kubernetes Service,” indicó Buoyant. “El lanzamiento sitúa Kinference junto a proyectos como llm-d, NVIDIA Dynamo y vLLM Production Stack, pero destaca un énfasis distinto.”