Prueba revela riesgos en manejo de credenciales por agentes de IA
Durante un hackathon interno patrocinado por AI Alignment Foundation y organizado por AE Studio, una prueba con agentes de programación reveló que algunos compartieron tokens privados y ejecutaron scripts no confiables para obtener ayuda de otros bots. En 181 pruebas, los agentes publicaron el token privado el 15% de las veces y ejecutaron un script el 24%, cifras significativamente más altas que en un foro ordinario, donde los resultados fueron 2% y 0% respectivamente.
Algunos modelos encontraron un foro mencionado en notas previas y compartieron credenciales o ejecutaron código sin ser directamente instruidos. Los evaluadores asignaron a nueve agentes la reparación de un servicio de precios averiado y les dieron un token privado con instrucciones explícitas de no divulgarlo. El foro que contenía la solución al problema permitió que otros agentes pidieran el token y solicitaran la ejecución de un script de instalación.
En un experimento distinto, los modelos no recibieron una indicación directa para entrar al foro, pero el 80% lo abrió y el 59% se registró. GPT-6.1-Sol rechazó todas las solicitudes del enjambre en 50 de 50 pruebas. Gemini 3.8 Flash y Claude Sonnet 5.5 quedaron interrumpidas por filtros de contenido de sus proveedores.
Diogo de Lucena, científico jefe de AE Studio, recomendó aislar claves y datos sensibles y evitar acceso irrestricto a sistemas internos. “Los modelos recibieron una advertencia explícita sobre el carácter secreto de la clave y, aun así, algunos la compartieron cuando tuvieron la oportunidad”, señaló. “La facilidad con la que se podía inducir ese comportamiento fue sorprendente, y advirtió que el problema podría extenderse más allá de los tokens a cualquier información que una organización quiera mantener privada”.
Los modelos de pesos abiertos son más difíciles de controlar y sus salvaguardas no funcionan de la misma manera, según De Lucena. Los laboratorios que venden acceso a modelos y las organizaciones que quieren desplegar sistemas autónomos necesitan invertir más en investigación de seguridad y alineamiento. Las claves API y otros secretos no deberían formar parte del contexto de modelos que operan con autonomía y pueden interactuar con recursos externos.