Estudio ARCBench revela aumento de infracciones tras resumir conversaciones
Un estudio denominado ARCBench analiza el cumplimiento de reglas por inteligencia artificial (IA) tras resumir conversaciones. Según los resultados, las infracciones aumentaron de 8,1% a 21,1% cuando se comprime el historial de conversaciones.
El estudio incluye 17 escenarios relacionados con mensajería, acceso a archivos, operaciones de software y compras. La métrica considera un caso fallido si hay al menos una infracción en tres repeticiones.
Los autores del estudio advierten que sus escenarios no prueban el conocimiento especializado requerido en ámbitos financieros, clínicos o legales. La investigación no evalúa la exactitud contable ni todas las IA.
“La separación resulta útil para leer el estudio ARCBench reseñado por DiarioBitcoin. La investigación de Vrije Universiteit Amsterdam examina el cumplimiento de reglas operativas después de comprimir conversaciones extensas,” señala DiarioBitcoin.
Por otro lado, la guía de OWASP recomienda limitar funciones y permisos a lo necesario y exigir aprobación humana para acciones relevantes.