Kyutai presenta CADRE, autoencoders de video que reducen la demora en mundos interactivos
Kyutai presenta CADRE, una familia de autoencoders de video diseñada para reducir la demora en mundos interactivos. El modelo permite generar video a 20 fotogramas por segundo en una GPU H100 con una latencia de acción inferior a 230 ms en algunas configuraciones. El mejor resultado reportado alcanzó un FVD de 162,6, frente a 599,7 para Wan 2.2.
CADRE no lideró todas las métricas en manipulación robótica. El código del proyecto se publica bajo licencia MIT, mientras que los pesos se publican bajo CC BY-NC 4.0. El modelo registró 185 ms de latencia y 23,4 fps en una H100.
Comprimir demasiado el espacio puede perjudicar el seguimiento del movimiento. La familia CADRE contiene siete autoencoders que comparten una arquitectura y cambian principalmente en el cuello de botella que comprime la información. Kyutai entrenó los autoencoders con cerca de 76.000 horas de video procedentes de 23 fuentes públicas.
La evaluación incluyó cuatro entornos: manipulación robótica ABC, manipulación humana EgoDex, conducción PhysicalAI AV y navegación interior RealEstate10K. CADRE-2×32×32 registró 185 ms de latencia de acción y 23,4 fotogramas por segundo con una sola pasada de decodificación.
La compresión espacial puede perjudicar primero la dinámica, sin que el FID cambie demasiado. El lanzamiento incluye siete autoencoders, cuatro versiones multirresolución con entrenamiento más prolongado y cuatro modelos de mundo sobre CADRE-2×16×16.