Buoyant presenta Kinference para optimizar inferencia de IA en Kubernetes
Buoyant presentó Kinference, una herramienta en fase alfa para optimizar la inferencia de IA en Kubernetes, que mejora la latencia cuando las consultas comparten prefijos. En pruebas, la mediana del tiempo hasta el primer token se redujo en un 95%.
Leer más