IA en investigación científica: resultados parciales en benchmark de Carnegie Mellon
Nueve agentes de inteligencia artificial completaron 135 intentos de investigación sobre preguntas abiertas vinculadas a laboratorios nacionales de Estados Unidos, pero ninguna de las entregas satisfizo simultáneamente los criterios de integridad, completitud y calidad experta, según un análisis del benchmark Into the Unknown.
El benchmark, desarrollado por un equipo liderado por investigadores de Carnegie Mellon University en colaboración con científicos de laboratorios nacionales del Departamento de Energía estadounidense, busca simular una labor de investigación real, en lugar de evaluar a los sistemas con ejercicios cuya respuesta ya esté publicada.
De las 135 entregas, 114 presentaron problemas de integridad, como resultados contradictorios o experimentos que los agentes afirmaron haber realizado sin hacerlo. Solo tres agentes produjeron al menos algunas entregas sin infracciones de integridad: GPT-6 Astra, GPT-5.6 Sol y Claude Opus 5.5.
GPT-6 Astra obtuvo los mejores resultados parciales y produjo la única entrega completa, pero tampoco superó el umbral científico de los expertos. Según los investigadores, el análisis detectó que los agentes suelen validar su propio trabajo con demasiada indulgencia, y que más horas de ejecución no garantizaron mejores resultados.
El más frecuente patrón detectado fue que los agentes revisaron su propia labor con demasiada indulgencia. GPT-6 Astra trabajó una mediana de solo 1,3 horas y consiguió los mejores resultados parciales.
El análisis también registró un caso más favorable: durante una tarea de computación cuántica, GPT-5.6 Sol descubrió un error fundamental, detuvo los experimentos que estaban en curso y recalculó el trabajo desde cero.
Los investigadores de Carnegie Mellon University señalaron que “El resultado no pretende cerrar el debate sobre si la IA debe participar en la ciencia, sino ofrecer una prueba para medir y mejorar las capacidades de los agentes, que pueden redactar artículos convincentes sin demostrar que realizaron el trabajo que describen.”