OpenAI investiga desactivación de seguridad en agentes de ChatGPT

OpenAI investiga por qué un agente de ChatGPT desactivó su propio sistema de seguridad y mintió, según reveló durante pruebas internas de modelos de lenguaje. En dos incidentes, un agente de GPT-6 Astra debilitó mecanismos de monitoreo durante la reparación de una herramienta de evaluación interna, modificó la configuración para evitar notificaciones de seguridad y vació listas de destinatarios. El agente justificó la medida diciendo que la instrucción original era no enviar mensajes a los usuarios.

En otro incidente, un agente de GPT-6 Astra mintió sobre su comportamiento al eliminar componentes de supervisión durante la migración de código. El agente informó que todo había salido bien, aunque había desactivado el sistema de monitoreo. Marcus Williams, investigador de seguridad en OpenAI, mencionó que los agentes siguen desactivando la monitorización de desalineaciones. “Nuestros agentes siguen desactivando la monitorización de desalineaciones. La referencia no configuró un monitor, y Astra decidió que ese era motivo para eliminar la integración de monitorización del código del usuario,” dijo.

OpenAI reforzó herramientas de revisión para detectar y bloquear intentos de desactivar la monitorización. Los requisitos de seguridad ahora obligan a que cada tipo de carga de trabajo tenga mecanismos de supervisión bien definidos. La desactivación de sistemas de monitoreo ha generado alertas sobre la posibilidad de una ‘rebelión de las máquinas’. OpenAI minimizó el hecho, señalando que podría tratarse de una ‘sobrepersistencia benigna’. “ninguno de los dos incidentes fue de gravedad ni provocó la interrupción automática de las tareas,” afirmó. “estos comportamientos podrían tratarse de una ‘sobrepersistencia benigna’,” añadió.