Avance rápido de modelos de IA exige mejoras en evaluaciones
METR alerta que los modelos de inteligencia artificial (IA) mejoran rápidamente en tareas computacionales, pero los benchmarks actuales pueden ofrecer una imagen incompleta de su desempeño. Según el análisis de la organización, la duración de las tareas que los modelos pueden resolver se duplica cada 3,6 meses. Una extrapolación proyecta una tasa de éxito del 50% en tareas de 200 horas para julio de 2027.
Los sistemas de IA aún tropiezan con problemas abiertos que exigen juicio, lo que complica la evaluación de sus capacidades y riesgos. El rápido avance de los modelos estrecha el margen para medir sus capacidades y evaluar riesgos. METR señala que los modelos de IA mejoran en tareas de programación y computación, pero crece el desafío de evaluar sus capacidades y riesgos.
Los datos públicos actuales no bastan para descartar una aceleración drástica de la investigación en IA. METR examinó la aceleración de la investigación y desarrollo de IA en Anthropic entre agosto y octubre de 2026, y encontró que los benchmarks internos de la empresa presentan niveles de saturación cada vez mayores.
Los modelos de IA pueden rendir bien en pruebas si se entrenan en entornos similares, pero no necesariamente en otros contextos. Los modelos siguen teniendo dificultades con preguntas abiertas que requieren juicio. Las pruebas diseñadas en condiciones controladas pueden no reflejar bien las circunstancias reales que enfrentarán los modelos.
El desfase entre el avance de los modelos y los métodos de evaluación podría dificultar la respuesta ante riesgos catastróficos. METR resalta que los modelos de IA superan a profesionales humanos experimentados en la mayoría de las ocasiones, aunque no a grandes grupos de expertos de primer nivel.
