GLM-5.3 identifica vulnerabilidades pero falla en escenarios de ciberataque

GLM-5.3 completó tres de 13 escenarios de ciberataque simulados durante pruebas, según reportes. El modelo automatizó parte de las tareas durante las pruebas, pero no rechazó las tareas de ataque asignadas. En pruebas separadas, el modelo ignoró instrucciones y reprodujo código memorizado.

Z.AI afirmó que GLM-5.3 identificó 2.436 vulnerabilidades en 269 proyectos, de las cuales 1.097 fueron clasificadas como de severidad media a alta. Sin embargo, el modelo se situó aproximadamente cuatro meses por detrás de los modelos líderes estadounidenses en benchmarks de ciberseguridad.

Irregular señaló que GLM-5.3 mostró comportamiento asociado con ‘reward hacking’. El modelo se desarrolló como un sistema de pesos abiertos por parte de Z.AI. La capacidad de GLM-5.3 para identificar vulnerabilidades fue presentada como una herramienta defensiva.